Bekijk profielpagina

Vrouwenhaat, porno en stereotypes. De vieze achterkant van AI.

Vrouwenhaat, porno en stereotypes. De vieze achterkant van AI.
Door Laurens Vreekamp • Editie #44 • Bekijk online
Hi lezer 👋,
Dit wordt geen leuke brief. Sterker nog, deze editie bevat zelfs schokkende beelden. Waarom? Omdat we het, zeker als schrijvers, beeldmakers en creatieven over de achterkant van AI moeten hebben. Die was tot voor kort vrij onzichtbaar. Maar sinds oktober 2021 niet meer helemaal, zo ontdekte ik afgelopen week.
Die achterkant is namelijk best wel vies, oneerlijk en … lijkt eigenlijk heel sterk op het internet zelf.
Wat dit voor ons makers betekent zet ik in deze editie uiteen.
Deze week…
Stel ik vijf vragen en probeer ze te beantwoorden:
  1. Waarom moet ik die lelijke kant kennen?
  2. Met welke data zijn de beeldmodellen getraind?
  3. Hoe komt de bias in gegenereerde afbeeldingen?
  4. Wie zijn (straks) de dupe van het gebruik van deze toepassingen?
  5. Wat kunnen we doen?
Verder bied ik praktische middelen waarmee je zelf kunt nagaan of beeld van jou, jouw werk (of dat van anderen) is gebruikt om de beeldmodellen te trainen en tools om gegenereerd beeld te recyclen.
Ik wens je veel plezier. Leestijd ⏲: 8 minuten.
Laurens Vreekamp

Kom & praat mee: AI for Good: media & kunst
1. Waarom we die vieze achterkant moeten bekijken?
Een groot aantal makers is enthousiast over de resultaten die zij zien bij anderen of zelf verkrijgen van teksttoepassingen als GPT-3, Rytr en CopyMatic en van beeldgeneratoren als DALLE-2, MidJourney, Imagen en DreamStudio. Ik moet bekennen -en dat zal geen verrassing zijn gezien de vorige drie edities- dat ik mezelf daar ook onder schaar.
Maar wat ik eerder niet goed realiseerde is wat de basis is van al die generatieve creaties.
Totdat ik deze tweet tegenkwam van onderzoeker Arthur Holland Michel, die werkt voor o.a. het Internationale Rode Kruis en Chatham House. Hij vroeg zich af hoe het kan dat het commando ‘Michael’ letterlijk een beeld oplevert dat lijkt op een Westerse, witte zakenman en ‘Michaela’ een schaarsgeklede, uitdagend poserende vrouw?
Ik nam de proef op de som. Het nog niet eens zo heel fotorealistische resultaat is al veelzeggend:
Text-to-image prompt 'Michael' (Gemaakt met Hugging Face's stable diffusion)
Text-to-image prompt 'Michael' (Gemaakt met Hugging Face's stable diffusion)
Text-to-image prompt 'Michaela' (Gemaakt met Hugging Face's stable diffusion)
Text-to-image prompt 'Michaela' (Gemaakt met Hugging Face's stable diffusion)
Hoe kan het nu dat maar een letter verschil zoveel verschil maakt? Daarvoor moeten we terug naar de bron.
2. Terug naar de bron: met welke data zijn de modellen getraind?
Van het zeer grote taalmodel GPT-3 weten we nog altijd niet met welke teksten het is getraind.
‘Misogyny, pornography, and malignant stereotypes’
Voor de beeldmodellen die gebruikt worden om de text-to-image-toepassingen te laten werken, konden we tot voor kort ook alleen speculeren.
Maar, zo ontdekte ik onlangs, er is op 6 oktober 2021 door een aantal academici een onderzoekspaper gepubliceerd met de titel ‘Multimodal datasets: misogyny, pornography, and malignant stereotypes’.
Van 400 miljoen naar 5 miljard basisafbeeldingen
De onderzoekers analyseerden de vrij toegankelijke, open dataset LAION400. Dat staat voor Large Scale AI Open Network. In deze dataset zitten 400 miljoen text-image pairs. Het vormt de basis waarop de nieuwste generaties text-to-image modellen zoals stable diffusion worden getraind. (Inmiddels is er alweer een grotere versie van LAION, de LAION5B, met 5 miljard (!) paren)
Het is goed om te begrijpen dat zo'n dataset als LAION uit verschillende onderdelen bestaat:
  1. Afbeeldingen
  2. Alt-text image-captions - beschrijvingen
  3. Tekstcorpora van het web, zoals CommonCrawl
Problemen van de afbeeldingen: privacyschending
Een van de auteurs, Abeba Birhane schreef over de bevindingen in een draadje op Twitter. Over het eerste onderdeel, de afbeeldingen, zegt ze:
“Images: Large scale vision datasets are plagued with problems including curation biases, inclusion of problematic content in the images, as well as contributing to the gradual erosion of privacy. ”
Problemen van de beschrijvingen: beledigend
Over het tweede deel, de beschrijvingen (alt-text) die bij de afbeelding horen:
“Internet sourced alt-text (which LAION-400M uses) is riddled with many issues; missing important info, not being descriptive enough, stereotypical & offensive descriptors, being over descriptive (including filenames & special characters) or misrepresenting images.”
Problemen met tekstcorpora: porno
Alsof de eerste twee lagen nog niet genoeg problematische zaken bevatten, is de derde misschien wel het gevaarlijkst. Onderzoeker Birhane schrijft:
The CommonCrawl: among other things, contains ~17.78% hate speech content. In a 119- language parallel dataset built off 68 snapshots of Common Crawl, Caswell et al. (2021) found >10% porn content for 11 languages with rates as high as 24% for language pairs […]“
3. Hoe komt de bias in generatieve AI?
De makers van DALLE-2 kennen de bias in hun systeem ook en geven dat ook ruiterlijk toe (maar lossen het niet op, en we kunnen er ook niet zelf in grasduinen, zoals bij LAION). Zo schrijven ze hier:
‘The default behavior of the DALL·E 2 Preview produces images that tend to overrepresent people who are White-passing and Western concepts generally. In some places it over-represents generations of people who are female-passing (such as for the prompt: “a flight attendant” ) while in others it over-represents generations of people who are male-passing (such as for the prompt: “a builder”). In some places this is representative of stereotypes (as discussed below) but in others the pattern being recreated is less immediately clear.’
Mensen die text-to-image systemen veelvuldig gebruiken hebben dit inmiddels ook ontdekt.
Redenen die zij aanvoeren, zo staat te lezen in de DALLE-2 disclaimer, zijn hun eigen geografische locatie, voertaal en (culturele) context:
‘For example, our safety analysts and team are primarily located in the U.S. and English language skills are one of the selection criteria we use in hiring them, so they are less well equipped to analyze content across international contexts or even some local contexts in the U.S.’
Pornobias
Onderzoekster Birhane vond in de LAION-dataset niet alleen een aantal dezelfde biases als bij DALL-E, maar ook een groot aantal not safe for work (pornografisch) afbeeldingen bovenop de stereotypische bias:
Abeba Birhane
And look what was returned for "school girl" & "school boy"; "beautiful", "handsome", & "CEO"; "African" & "European"; and "terrorist" & "white power".

11/ https://t.co/1SVj1pkWFa
Er bleek zelfs pornobias in de LAION dataset die je niet direct zou vermoeden:
Abeba Birhane
Even the weakest link to womanhood or some aspect of what is traditionally conceived as feminine returned pornographic imagery. For example, when searching for descriptive adjectives such as "big" and "small", it returned many porn images.

8/ https://t.co/34jfuUSLl6
En zo gaat Birhane nog wel even door. Lees hier haar hele (lange) draadje op Twitter.
4. Wie zijn (straks) de dupe?
Eigenlijk iedereen:
  • Degene die profielfoto’s op het web heeft geplaatst en de ouder die foto’s van het eigen kind op social media plaatst. (Een consequentie die Ernst-Jan Pfauth in dit recente stuk in NRC nog niet voorzien had, vermoed ik). De kans is groot dat foto’s van jou in de datasets belanden waarmee AI-modellen worden gevoed.
  • De persoon die in welke context dan ook tot een minderheid behoort en/of gestereotypeerd wordt.
  • De gebruiker van text-to-image systemen, die met ieder gegenereerd beeld de problematische basis in stand houdt en weer verder versterkt. Want wat online komt, kan ook weer in de databasis terecht komen!
Dubbel gedupeerden: kunstenaars, fotografen en illustratoren..
Waar er gegronde angst is voor het verliezen van bepaald soort werk, hebben fotografen, kunstenaars en illustratoren meer te vrezen van het feit dat hun werk wellicht is inbegrepen in datasets zoals LAION, zonder hun toestemming. Waardoor anderen ongeoorloofd voortborduren op origineel artistiek werk van professionele makers.
RJ Palmer
Here is a collection of relatively modern or currently working artists that they advertise as styles to steal on their site(there are hundreds of others). This is just gross. https://t.co/LLcl7dR9IN
5. Wat kun je doen? Have I been trained + Phraser
Het is goed dat er nu openheid is. Dat een organisatie zoals Stability.ai openheid geeft over de ontwikkeling van hun AI-model voor beeldgeneratie. Zodat we beter weten hoe de techniek werkt.
Het is goed dat een dataset als LAION vrij toegankelijk is, zodat onderzoekers als Abeba Birhane hun analyses kunnen doen. Want over OpenAI’s DALLE-2 en Google’s Imagen weten we bijna niets, en kunnen we er ook niet onder motorkap kijken. Over die nieuwe openheid is Birhane ambivalent. Zo schrijft ze:
“On the one hand LAION-400M has opened a door that allows us to get a glimpse into the world of large scale datasets; these kinds of datasets remain hidden inside BigTech corps. On the other, all the points we raise in this paper should make anyone feel uneasy, at the least.”
Doorzoek de basisgrondstoffen zelf
Het is daarom fijn dat er naast dit onderzoek nu ook tools zijn om zelf te checken of je als persoon of jouw professionele (beeldend of geschreven) werk in de dataset voorkomt:
Zoek met deze tool, met beeld of tekst, of jij of je werk voorkomt in de dataset die is gebruikt om de AI-beeldmodellen te trainen.
Wil je je daarna wapenen tegen inclusie van je werk in AI-datasets, ga dan naar Spawning
Eerder-gegenereerd
Met deze tools check je of er al beelden zijn gemaakt, zodat je de stereotypen niet zelf weer versterkt met iedere nieuw-gegenereerde creatie:
👉🏽 Phraser.tech
👉🏽 Lexica.art
Meet Phraser, the AI Tool that Prompts Neural Networks
Final thought
Nu we steeds beter leren wat voor beelden we (letterlijk en figuurlijk) beter wel en niet meer moeten gebruiken - in campagnes, films, op televisie, Youtube en print en andere media - moeten we dat besef ook hebben als we AI ‘onze’ beelden laten genereren.
We moeten daarnaast ons AI-gebruik ook verantwoorden voor ons publiek en straks ook wettelijk. Gelukkig kunnen we nu zelf zien en opzoeken welke beelden zijn gebruikt, hoe de bias ontstaat en nadenken over onbedoelde, onwenselijke uitkomsten van gebruik ervan.
✅ Zo, dit was’ m.
Vond je deze editie leuk?
Laurens Vreekamp

Iedere donderdagochtend schrijf ik over één thema, techniek of tool die je -hopelijk- inspireert en helpt machine learning & AI beter te begrijpen en toe te passen in je werk. (Geen kennis van programmeren, wiskunde of statistiek vereist!)

Je vindt dit en meer in het boek The Art of AI ( www.artofai.nl ) - een praktische introductie in machine learning voor mediamakers. Hierin zijn technieken, tools en thema’s rondom creatieve AI-toepassingen gebundeld, komen 12 creatieve AI-pioniers uit Nederland en Vlaanderen aan het woord en delen we stappenplannen en tips om zelf te beginnen met AI.

Klik hier om je uit te schrijven.
Als deze nieuwsbrief doorgestuurd is en je wilt je aanmelden, klik dan hier.
Gemaakt door Laurens Vreekamp met Revue.
Laurens Vreekamp, Amsterdam, Nederland