Content moderatie? Nee, laetitia! Super Vision #13

Hi 👋 beste lezer,

In deze nieuwbrief geef ik je voorbeelden van (tools voor) content moderatie die wel gewenste reacties opleveren, die leiden tot zinvolle gesprekken en die relevante informatie bieden voor degene die er actief en expliciet naar op zoek zijn. (Zoals je verderop kunt lezen over Nujij.nl). Handig voor user researchers, journalisten, audience engagers of wanneer je kwalitatief marktonderzoek doet.

En, mijn waarde nieuwsbriever, ik hoef je natuurlijk niet te vertellen dat jij de rest al een paar stappen voor bent door hier geabonneerd te zijn. 👊 Maar ik wil in het bijzonder even een applaus voor de winnaar van de allereerste Online AI Super Vision PubQuiz van 2021: Patrick Dumon. 👏🏼🎉 Mijn exclusieve handprinted machine-designed tote-bag komt zo snel mogelijk jouw kant op! (“Blijf aan de lijn dan noteren we je adres, Patrick”).

Afgelopen weekend was ik in Brussel voor de jaarlijkse conferentie van de Vereniging van Onderzoeksjournalisten (VVOJ). Heel fijn om met allerlei makers en onderzoekers ervaringen, uitdagingen en best practices uit te wisselen. Hier een handout van mijn bijdrage (Je had er bij moeten zijn 😉.)

Veel plezier met deze dertiende nieuwsbrief! Groetjes, Laurens.

De afgelopen weken kan het je niet ontgaan zijn. Door de Meta- (née Facebook)klokkenluider weten we meer dan ooit over het content moderatie-beleid en (het intentionele tekortschieten van) de inspanningen. Dat ze alleen al grote moeite hebben met het modereren van Engelse taal. Dus laat staan hoe ze omgaan met ongewenste posts in talen die men in India spreekt, in Myanmar, Ethiopie, Pakistan of de Arabische wereld; allemaal gebieden waar -eufemistisch gezegd- nogal veel aan de hand is, en dus ook online.

We mogen ons terecht zorgen maken. Maar hoe zijn we bij deze realiteit uitgekomen, terwijl de founding visions voor ons internet ooit zo positief waren?

Moderatie betekent namelijk zoveel als ‘matiging’. Als je ooit op school hebt gezeten of aan een debat hebt meegedaan, heb je er ervaring mee. Geen persoonlijke dingen roepen of zomaar iets zeggen. En vooral: je huiswerk doen, luisteren naar elkaar, on topic blijven. Was er niemand om de boel ordentelijk te leiden, dan bleek verrassend vaak de grootste schreeuwer, sterkste persoon of populairste hottie gelijk te hebben. (In my experience in ieder geval.)

Voordat we browsers hadden met plaatjes en geluid, was internetten vooral meedoen aan nieuwsgroepen, via Usenet. Mensen bespraken er van alles, in tekstvorm, meestal rondom een thema waar ze gepassioneerd over waren. Dat ging er -als je de pioniers uit die tijd mag geloven- vrij beschaafd aan toe. Misschien omdat het nieuw en relatief niche was, dat internet. En: er waren duidelijke regels en de groep was niet groot. Binnen zo'n subcultuur is het voor iedereen prima toeven, natuurlijk.

En alhoewel men veelal anoniem meedeed in die nieuwsgroepen, was er toch een zeker familiar stranger-gevoel: die man met die hond twee straten verderop… die ken je verder niet, maar die hoort er wel te zijn als jij je vuilniszak weggooit ‘s avonds. Hij geeft je een vertrouwd, veilig gevoel. Hij maakt jouw buurt.

Rond 2005, met de opkomst van het zogeheten Web 2.0, kwamen de weblogs op, de user generated content en de mogelijkheid om te reageren op bijvoorbeeld nieuwsartikelen. Ondertussen kwamen er miljoenen mensen meer online. Oude regels voldeden niet meer. Er kwamen teveel vreemde mannen met honden, er waren teveel buurtjes in jouw buurt.

Content moderation associeren we toch vooral met negatieve zaken: online schelden, haat, discriminatie, opruiing. Vanaf 2005 begon het ook vaker en op grote schaal mis te gaan met online conversaties. (Het is niet voor niets dat Godwin’s Law in 2012 officieel werd opgenomen in de Oxford Dictionary.)

Er miste (mijns inziens) het volgende bij iedereen die een comment-section of forum implementeerde op de site:

Enthousiaste medewerkers wierpen zich op als hoeder van de online fora, maakten regels en stelde netiquettes op. In de praktijk deelden ze vooral waarschuwingen en bans uit. #politieagent.

Totdat de reactiemogelijkheden na een aantal jaren weer werden afgesloten of ge-offload (naar die social media platforms waarop we nu vooral de problemen ervaren). Het kost teveel tijd en levert te weinig op, las je in berichten over de aanstaande sluiting. Waarop het handjevol actieve, betrokken leden boos werd en zich gestraft voelde door andermans toedoen. Bij een brainstorm een aantal jaar geleden, met mensen van De Telegraaf, vroeg ik hoe gewenste reacties er dan uit zien. Niemand had daar een antwoord op.

Nu snap ik ook wel dat wanneer je 2,5 miljard gebruikers hebt die nogal verschillende opvattingen hebben, content moderation onbegonnen werk lijkt. Jij en ik begrijpen goed dat zelfs een combinatie van algoritmische en menselijke reviewers de constante stroom aan nieuwe content niet kan monitoren.

‘Meer mensen, meer AI, meer moderatie’ is dan ook niet het antwoord. De meeste systemen gaan uit van ongewenst gedrag. Ze laten dat uitgangspunt leidend zijn bij de ontwerpkeuzes voor interacties tussen gebruikers op een platform.

De eerste internet-utopisten dachten dat democratieen beter zouden functioneren als iedereen toegang kreeg tot dezelfde informatie en op gelijke interesses samen kon komen, in plaats van gelimiteerd te worden door geografische grenzen, uiterlijk of andere fysieke, oppervlakkige kenmerken.

Je vraagt een voorbeeld van goed werkende content moderatie op zeer grote schaal? Nou, Wikipedianen doen dit al jaaaaren, met redelijk groot succes. Hoe ze doet dat doen? Door een uitgebreid proces ontwerp te hanteren waarbij ‘active human participation key’ is (zie afbeelding hierboven). Goed, we kunnen kritiek hebben op ome Jimbo en de inhoud van zijn online encyclopedie, maar wees eerlijk: sinds webheugenis is het een van onze go to’s om iets over iets op te zoeken en pretty betrouwbaar, zo blijkt uit diverse onderzoeken.

Meer dan een saillant detail: de meeste AI-gebaseerde taalmodellen (de LLM’s) halen hun teksten voor een groot deel van Wikipedia. Om het nog anders te zeggen: zonder de user generated content + content moderatie door Wikipedianen zouden we niet de AI hebben die er nu is. (Of je dat goed of slecht vindt is aan jou 😜)

Waar de een iets slechte muziek vindt, staan anderen er nachten voor in de rij. Waar jij flat earthers niet als bedreigend ervaart, daar vind je 2G misschien wel de samenleving verdelen. Ik wil maar zeggen: het is beter te beseffen wat content moderatie zo moeilijk maakt. Dit Wired-artikel met de kop ‘More Content Moderation Is Not Always Better’ sluit af met:

Twitter heeft een Transparancy Center opgericht. Youtube paste de eigen moderation guidelines al meerdere malen aan. Uiteindelijk is meer technologie of meer mensen de oplossing niet. Het helpt al als we die transparantie en navolgbaarheid van keuzes kennen voor ban of approval van gebruikersreacties. Maar in de eerste plaats moeten we ons afvragen: wat voor gesprekken willen we online, en waarom ook alweer?

Over de realiteit anno 2021 hoef ik niets meer te zeggen. Waar het dan wel om moet gaan: draai het om. Ga uit van goed gedrag en beloon het als je het ziet. Wees daarnaast ook realistisch: dingen gaan mis, sommige situaties en omstandigheden zijn niet te voorzien of zorgen ervoor dat mensen niet het gewenste gedrag vertonen. Stuur dat bij, laat ze zien dat je ze ziet, vraag ze wat er is. Of ze zelf betere ideeen hebben. Surprise: dat is bijna altijd zo. Maar als je er niet voor open staat, kom je het ook niet te weten. Als je alleen gericht op zoek bent naar slechte dingen, hateful content en bad actors, dan vallen de goede zaken je ook niet op! En oke, let’s be honest: je moet ook regels hebben, en overtredingen hebben consequenties, met sancties en als dat nodig is: gepaste straf.

Nujij.nl in Nederland maakt gebruikt van een machine learning service van het Finse bedrijf Utopia Analytics. De comment moderation toepassing bij Nujij.nl noemen ze Maura (‘Machine voor automatisch reacties afhandelen’). Deze ‘leest’ alle reacties en velt bij 80 procent daarvan een oordeel of ze wel of niet geplaatst mogen worden. Adjunct-hoofdredacteur Colin van Hoek vertelde me een tijdje terug dat, toen ze besloten om weer met lezers te gaan werken, ze dit echt anders wilden aanpakken dan puur de reactiemogelijkheid onder een artikel openzetten. Nee, ze formuleerden doelen en selecteerden de juiste technologie om online conversaties te bevorderen. Verder bespraken ze met redacteuren op welke manier gesprekken tussen en aanvullingen van lezers hun journalistieke proces zouden verrijken.

Wat blijkt: door de snelheid waarmee Maura reacties approved, ervaren meer lezers het als een gesprek, waardoor ze langer blijven, de discussie inhoudelijker en beter wordt, en redacteuren meer follow-ups en informatie halen uit die online conversaties.

Een aantal Amerikaanse nieuwsredacties van The Washington Post, New York Times en Mozilla Foundation zijn gezamenlijk op zoek gegaan naar goede moderation tools. Met het Coral Project bouwden ze uiteindelijk zelf een tool. De doelen:

Onder beheer van Vox Media is het nu een betaalde dienst geworden. Je wordt geholpen met hosting, implementatie van de technologie en de juiste doelen te bereiken.

👉🏽Hive moderation: modereert contenttypes als tekst, geluid, video en GIFs.

👉🏽Perspective API van Jigsaw (‘a unit within Google’) is een machinelearning toepassing die comments analyseert voor o.a. New York Times en El Pais. Begin november is o.a. ook de Nederlandse taal toegevoegd.

👉🏽Utopia AI - wordt veel ingezet op sites voor kinderen en bij online nieuws (Actief voor Schibstedt, Nujij.nl)

Elger van der Wel legt in dit artikel op SVDJ.nl uit hoe moderatie tools in essentie werken:

✅Dit was ‘m weer!