Bekijk profielpagina

Super Vision #6: Bias in AI

Super Vision #6: Bias in AI
Door Laurens Vreekamp • Editie #6 • Bekijk online
Hi🖐🏿. Dit is de eerste Super Vision waarin ik een van de grote drie ‘gevaren’ van AI behandel. Deze keer is dat bias, oftewel: vooroordelen of vooringenomenheid. En laat ik direct een statement maken:
Zowel data als AI-systemen kennen geen vooroordelen.
Als dit in gaat tegen alles wat je tot nu toe denkt of gelezen hebt, dan zitten we meteen goed😉! Want in deze editie maak ik duidelijk wat dan wel het probleem met bias en AI is, hoe anderen dit oplossen (waaronder een beautymerk) en geef ik vijf tips om zelf bias aan te pakken. Ik heb ook weer een AI-Uitagenda. Veel debias-plezier!
Volgende week: 🎥Video & AI.

Het echte probleem met AI en bias...
Wie schrijft de geschiedenis? Google Search op 'ruiterstandbeeld'
Wie schrijft de geschiedenis? Google Search op 'ruiterstandbeeld'
Stel: jij en ik ontwikkelen samen een AI-model dat foto’s van ruiterstandbeelden genereert op commando, vergelijkbaar met wat DALL-E kan. Hiervoor voeden we ons systeem met duizenden afbeeldingen van dergelijke standbeelden van over de hele wereld. Wanneer het model is getraind, geven we het de volgende opdracht:
> Genereer 100 ruiterstandbeelden
Retorische vraag: hoeveel van die beelden zullen een vrouw op een paard tonen, denk je?!
Maarten de Rijke, AI professor aan de Universiteit van Amsterdam en zijn (destijds) promovendus David Graus schreven in 2016 al een opiniestuk in NRC, getiteld Wij zijn racisten, daarom Google ook, over de echte bias in AI; het is volgens hen een reflectie van onszelf:
Het idee van een algoritme als een statische verzameling instructies die door een machine wordt uitgevoerd is misleidend. In de context van, bijvoorbeeld, Facebooks nieuwsfeed, Googles zoekresultaten, of aanbevelingen van Netflix wordt een machine niet verteld wat te doen, maar verteld om te leren wat te doen. De systemen leren van subjectieve bronnen: onszelf, onze voorkeuren, ons interactiegedrag. Het leren van subjectieve bronnen zorgt vanzelfsprekend voor subjectieve uitkomsten.
1. Wat is bias?
Van de meeste vooroordelen ben je je niet bewust, de zogeheten unconscious bias. Ieder mens bezit ze. Je hebt ze al van jongs af aan, en ze helpen je te overleven. Handig in een groep met mensen waar je van afhankelijk bent of met wie je vaak te maken hebt. Maar onhandig, vervelend, oneerlijk, pijnlijk of zelfs levensbedreigend voor alle andere mensen die minder op jou lijken. Wake up call: al die andere mensen zijn in de meerderheid 😜. En zo zijn jouw unconscious bias uiteindelijk ook gevaarlijk voor jezelf en de uitwerking van je AI-toepassing. Er worden in dit artikel maar liefst 19 soorten bias onderscheiden. Ben benieuwd welke je allemaal herkent bij jezelf.
Als je weleens onderzoek doet, ken je het begrip ook in die context. De bekendste vormen van bias hierbij zijn:
  1. selection bias: doelgroep van een onderzoek bestaat uit huisdierenbezitters maar alleen eigenaren van honden zijn geselecteerd om deel te nemen.
  2. confirmation bias: het onderzoek is ontworpen om aannames te bevestigen en/of de onderzoeker gaat op zoek naar resultaten die de eigen aannames onderschrijven.
  3. interviewer bias: werkt twee kanten op; sociaal wenselijke antwoorden van de interviewee of juist vooringenomenheid bij de interviewer.
  4. respons bias en non-respons bias: bij een klant-tevredenheidsonderzoek bijvoorbeeld reageren vaak alleen de ontevreden klanten.
In data:
  • outlier of extreme data bias - je onderzoekt de beleving van Fortnite-gamers wereldwijd en hebt onder je honderd respondenten elf 82-jarige spelers.
In design:
  • design bias: zuurstofsaturatiemeters die ontwikkeld en getest zijn door witte mannen en vrouwen werken niet goed bij zwarte mensen. Crash test dummies (nee, niet de band) waren tot voor kort gebaseerd op Westerse mannenlichamen.
Kort gezegd: bias die niet adequaat wordt geadresseerd resulteert in gemankeerd of onbruikbaar onderzoek. En nu je weet dat er verschillende soorten bias bestaan, kun je niet anders dan er rekening mee houden. Bedenk bij je volgende project eens: welke niet-gebruikelijke bedrijven zal ik dit keer bellen? Hoe kom ik dit keer bij andere voorbeelden uit? Welke personen kan ik ook interviewen? Welke ‘vervelende’ designers zal ik om feedback vragen?
2. Waar kom je bias in AI tegen?
Je hebt er waarschijnlijk al tig keer over gelezen. Hier de bekendste voorbeelden:
  • zwarte mannen die vaker en harder worden gestraft in de VS door mede op AI-gebaseerde uitspraken van rechters;
  • videosollicitatie-systemen die niet op inhoud selecteren;
  • Aziatische en Afro-American vrouwen die minder goed geïdentificeerd worden door gezichtsherkenningsoftware.
Wie leest over bias & AI komt ook de volgende begrippen tegen: Fairness, accuracy & trust (FAT), Responsible AI, Explainable AI en Ethical AI. Bekende AI'ers die zich hiervoor hard voor maken zijn o.a. Joy Buolamwini van de Algorithmic Justice League, Lorena Jaume-Palasí van Algorithm Watch en Timnit Gebru, ex-Google Ethical AI. Deze personen, hun initiatieven en ander onderzoek hieromtrent richten zich allemaal op dezelfde vraag:
Hoe zorgen we ervoor dat mensen in hun (dagelijks) leven niet oneerlijk worden behandeld, gediscrimineerd of anderszins belemmerd door tussenkomst van geautomatiseerde systemen?
En wanneer dat wel het geval is: hoe gaat wie dan waar mee om?
  • Wie is er verantwoordelijk?
  • Hoe helpen we ontwikkelaars van AI-toepassingen: researchers, developers, designers, journalisten, marketeers?
  • Welke aandacht besteden we hieraan in het onderwijs?
  • Wie verzorgt toezicht: nationale regeringen, de EU, ngo’s?
  • Wie helpt de burger, de zorgconsument, de verzekerde, de autorijder?
Verschillende stakeholders nemen ondertussen al hun verantwoordelijkheid…
3. Wie werken er aan de-biasing?
Face detection Model Card - Google
Face detection Model Card - Google
Universiteiten, onderzoeksinstituten & non-profits
Onderzoek in academische kringen, zoals in Nederland bij de TUe levert methodes op zoals Fair Match, van promovendus Masoud Mansoury:
“Het idee is om de zichtbaarheid te verbeteren van items van hoge kwaliteit, die een lage zichtbaarheid hebben in de oorspronkelijke set van aanbevelingen”.
De Duitse non-profit Algorithm Watch onderzoekt en bericht over misstanden rondom het gebruik van AI bij bedrijven en overheden. En in zowel Vlaanderen als Nederland trekken verschillende universiteiten en onderzoeksinstituten met elkaar op.
Big Tech
Twitter schreef een wedstrijd uit -de Algorithmic Bias Bounty Challenge - om bias in hun algoritmes aan te laten tonen door buitenstaanders:
Finding bias in machine learning (ML) models is difficult, and sometimes, companies find out about unintended ethical harms once they’ve already reached the public. We want to change that.
Google heeft een Model Card set die je gebruikt met je team bij het ontwikkelen van machine learning toepassingen:
Model cards […] help investigate issues like unfair bias. For instance, does a model perform consistently across a diverse range of people, or does it vary in unintended ways as characteristics like skin color or region change? Model cards can bring clarity to these kinds of disparities, encouraging developers to consider their impact on a diverse range of people from the start of their app’s development process—and keep them in mind throughout.
Start-ups
Een bedrijf als Hugging Face, dat datasets aanlevert, doet dat op een bijzondere manier a la een Tony Chocolonely for AI. Hun datasets proberen ze zo divers, inclusief en unbiased mogelijk te maken. Hoofd data governance Margaret Mitchell (ex-Google Ethical AI) vertelt in een interview met Morning Brew over haar missie:
MB: What do you personally want to have accomplished in the responsible-AI space?
MM: One year from now, I want it to be a norm that people provide documentation for datasets and for models. […] We see companies across the board starting to use things like model cards—so Facebook, Salesforce, Nvidia, OpenAI, Allen AI, various papers—we’re really seeing a rise in responsible, value-aligned documentation […]
Merken & adverteerders:
Campagne van Olay in de VS: #decodethebias
Campagne van Olay in de VS: #decodethebias
Beautymerk Olay (voorheen Oil of Olaz) heeft in de VS een campagne lopen met de hashtag #decodethebias. In bovenstaande commercial roept eerdergenoemde Joy Buolamwini op om de bestaande (beauty) bias in algoritmes aan te pakken terwijl ze en passant gezichtscreme gebruikt. #faceanything
Individuen
Een interessant element dat Margaret Mitchell in het voornoemde interview oppert is de ‘right to contestation’: mensen moeten de manier waarop ze gerepresenteerd worden in datasets en modellen kunnen aanvechten:
[F]iguring out how to allow contestation brings with it a whole bunch of research questions: How do you remove training data from a model? How do you even find the data that someone would contest?
4. Wat kun jij doen?
Totdat bedrijven deze nieuwe best FAT AI practices toepassen, teams actief naar vooroordelen in hun ontwerp en data omzien en een fairness-waakhond is ingesteld, kun je alvast het volgende doen:
Tip 1: Behandel AI als een tussenpersoon.
Net zoals je dat bij journalisten, opiniemakers en consultants doet (of zou moeten doen), betogen De Rijke en Graus in hun opiniestuk dat je AI-aanbevelingssystemen als gepersonaliseerde tussenpersonen moet zien:
Het succes van moderne zoek- en aanbevelingssystemen is voor een belangrijk deel te danken aan hun gebrek aan neutraliteit. Zie het daarom als een gepersonaliseerde informatietussenpersoon. Net als traditionele informatietussenpersonen (journalisten, artsen, opiniemakers) geeft het een standpunt weer door informatie te filteren en te rangschikken. En net als bij traditionele tussenpersonen doet men er verstandig aan om een tweede of derde mening te vragen als het er werkelijk toe doet.
Tip 2: Doe zelf een bias-quiz of vooroordelentest!
Verplaats je eens in een werkgever of manager en ervaar op welke basis je mensen wel of niet inhuurt, aanneemt of in je team wil:
Doe de vooroordelentest
Journalist of mediamaker? Doe dan deze quiz eens:
AI Journalism Quiz
Tip 3: Vraag een expert om hulp
💬 Fair & Ethical AI-Professionals in Vlaanderen
Number of male and female persons quoted and mentioned - AIJOproject.com
Number of male and female persons quoted and mentioned - AIJOproject.com
Tip 4. Doe een content-, model- of data-analyse
👉🏽 Het AIJOproject heeft tools en uitleg beschikbaar om gender bias in inhoud te analyseren. Te gebruiken voor zowel tekst (Natural Language Processing) als beeld (Computer Vision).
Je kunt ook een zogeheten disparate impact analyse doen. Met deze analysemethode kijk je bijvoorbeeld naar leeftijd: levert het model even nauwkeurige resultaten op voor 18-35 jarigen als 65+‘ers? Uiteraard geldt hier ook: context bepaalt welke impact wenselijk is.
AI Fairness 360 Demo data
AI Fairness 360 Demo data
👉🏽 AI Fairness 360 (IBM) heeft video’s, artikelen, tutorials, code en andere handige manieren om bias in AI tegen te gaan. Probeer de demo en check zelf of en hoe biased de data is voor het model ‘to predict a criminal defendant’s likelihood of reoffending:
Parity.ai evalueert voor bedrijven het risico van hun AI-modellen
Parity.ai evalueert voor bedrijven het risico van hun AI-modellen
Tip 5: Laat een ‘algorithmic audit’ doen
Een interessante ontwikkeling vind ik de opkomst van algorithmic auditing: gespecialiseerde bedrijven zoals Parity.ai helpen andere organisaties om hun AI-toepassingen op fairness, accuracy en responsibility te toetsen. Al komen ze nu nog uit Silicon Valley, je kunt je voorstellen dat straks, wanneer ieder zichzelf respecterende organisatie met zo'n audit als keurmerk wil pronken (#algowashing), er meer partijen nodig die deze toetsing voor hun rekening nemen. #nieuwebanendankzijAI
Lees deze twee artikelen van MIT Technology Review en The Markup als je meer wilt weten over algorithmic auditing.
✅ Dit was ‘m weer. Volgende week: video & AI.
AI-Agenda
📺 Donderdag 7 oktober, 11:00uur: 
Live Talkshow 'Responsible AI voor media' (Dutch Media Week)
16-24 oktober: AI @ Dutch Design Week
13 & 14 oktober: World Summit AI 2021 | Amsterdam, The Netherlands
Video: Agnes Stenbom – AI: CRAP IN, CRAP OUT
Vond je deze editie leuk?
Laurens Vreekamp

Iedere donderdagochtend schrijf ik over één thema, techniek of tool die je -hopelijk- inspireert en helpt machine learning & AI beter te begrijpen en toe te passen in je werk. (Geen kennis van programmeren, wiskunde of statistiek vereist!)

Ondertussen werk ik aan een boek waarin de technieken, tools en thema’s rondom creatieve AI-toepassingen gebundeld worden, waarin makers aan het woord komen en hun stappenplannen worden gedeeld.

Klik hier om je uit te schrijven.
Als deze nieuwsbrief doorgestuurd is en je wilt je aanmelden, klik dan hier.
Gemaakt door Laurens Vreekamp met Revue.
Laurens Vreekamp, Amsterdam, Nederland