#3 Talkin 'bout AI generation 👩🏽‍🌾👴🏻💻🐣

Hi 👋

Dit is de derde Super Vision alweer: jouw wekelijkse nieuwsbrief met toepassingen van AI & machine learning voor creatieve makers.

Vorige week Deel I uit de natural language processing-serie. Deze week deel II: natural language generation.

Maar eerst even dit:

Veel lees- en experimenteerplezier weer. Volgende week behandel ik computer vision. Heb je daar al mee gewerkt of ken je interessante voorbeelden, laat het me weer weten!

Groeten uit Leuven, Laurens, Future Journalism Today

🕖 Leestijd van deze nieuwsbrief is zo'n 7 minuten.

Je eerste gedachte bij het lezen van Abbus hierboven was vast niet:

En dat is niet gek, want deze tekst is het resultaat van een creatief proces waarbij een team van VPRO’s Medialab en UU en UVA samenwerkten met een AI. Hun doel: een artificieel songfestival-liedje maken.

Teamlid en creative coder Yannick Gregoire vertelde me vorige week hoe dat ging. Hij koos eerst een zogeheten Large Language Model uit als basis (GPT-2 in dit geval). Deze trainde hij vervolgens met bestaande Nederlandstalige songteksten van o.a. liederenbank.nl; van folklore en rap tot Willeke Alberti.

Voor het trainen en testen van het songtekstmodel gebruikte het team Google Colab - een online omgeving om te experimenteren met machine learning, waarbij je gratis (tijdelijke) rekenkracht krijgt.

Na een aantal experimenten bleek het Nederlandstalige model teveel gibberish op te leveren: veel Engelse woorden, echte non-teksten of volledig geplagieerde zinnen. Het resultaat kon zo niet ingezongen worden door Willie Wartaal 🙁

Een ander experiment deed teamlid Janne Speijkervet. Zij bouwde een Lyrics Generator, getraind met Engelstalige teksten van o.a. Reddit. Ook een aantal daarmee gegenereerde teksten als ‘Kill the government, kill the system’ haalden de definitieve inzending niet.

Wat de snijtafel wel overleefde, beluister je hier:

🇳🇱 De Nederlandse inzending (plus making-of)

🇧🇪 De Belgische inzending voor 2021: Beatroots AI

Korte rewind naar vorige week: de algemene aanduiding voor taaltechnologie is natural language processing (NLP). Je kunt NLP opsplitsen in twee begrippen: understanding (zie vorig week) en generation.

Een AI die antwoord geeft, samenvattingen maakt of nieuwe zinnen voorstelt, genereert tekst. Dit doet de AI op basis van miljoenen andere, bestaande teksten. En die teksten komen overal vandaan: uit boeken, kranten, literatuur, wetenschappelijke papers, het Viva-forum, Twitter, verzin het maar. Ze worden opgeslagen, verwerkt en verrijkt in zogeheten Large Language Models (LLM’s). Veel ervan zijn tegenwoordig gratis en eenvoudig te gebruiken. Je hebt LLM’s nodig om natuurlijke taal te genereren.

Yannick van de VPRO gebruikte ook zo'n LLM. In zijn geval een zogeheten Generative Pre-Trained Text Transformer (GPT-2 van OpenAI). Deze transformers (taalmodellen dus) dien je wel eerst ‘op te voeden’: dat heet fine-tuning - met het toevoegen van specifieke teksten maak je het uiteindelijke model geschikter voor jouw doel; of het nou het genereren van songteksten, medische diagnoses of sporthistorie is.

Vorige week beschreef ik hoe natural language understanding kan helpen bij het doen van research, bij het transcriberen van audio-opnames of als schrijfhulp.

Deze week kijken we naar de meer creatieve, scheppende kant. Nou ja, ‘scheppend’… eerder: ‘razendsnel combinerend op basis van patronen van veel bij elkaar voorkomende woorden en zinnen uit andere teksten.’ Maar toch, een computer die tekst creëren kan, dat is naast wonderlijk toch ook wel bedreigend. Pieker je er weleens over of je werk vervangen wordt door een AI of robot? Ja?! Draai het dan eens om, en stel jezelf de vraag:

Misschien zeg je direct ‘no way, Laurens, echt niet hoor’ en komen tegelijkertijd toch ook de volgende twijfels ook op:

Okee, dat laatste zegt vooral m'n moeder vaak. Maar ik snap je, het zijn ook grote vragen. Ik zal proberen antwoord te geven aan de hand van tools, voorbeelden en via de links bij Further reading & listening, verderop. De tools die ik vandaag met je deel, helpen je om schrijf- en zelfs designwerk te laten doen door AI, zonder modellen te trainen of te programmeren.

Hieronder vertel ik je hoe schrijvers, designers, coders en interviewers NLG kunnen toepassen. Zo vertelde copywriter Claudia Korpadi (Upmost, ex-KesselsKramer) me dat ze niet bang is voor AI; sterker nog: ze verwelkomt deze nieuwe companions zolang ze suggesties doen en op blinde vlekken wijzen.

Bestaande AI tools helpen je om de volgende soort teksten te genereren:

Wanneer je tijdens een brainstorm of design sprint met de klant ideeën tastbaar wil maken, kun je binnenkort een AI met je stem aanroepen en letterlijk beschrijven wat je zou willen zien. Instant design creatie zonder ingewikkelde software, shortcuts of code!

Een handige coder/designer bouwde bovenstaande als proof-of-concept: een plugin voor Figma waarmee je een interactief prototype genereert op basis van alleen een beschrijving.

GitHub, een platform voor developers, presenteerde onlangs hun Co-pilot: een AI die code genereert o.b.v. een voorzetje. Zo hoef je straks niet zelf meer een image-resizer te schrijven, maar geef je Co-pilot alleen een opzetje; de AI schrijft de rest van je code.

Yannick Gregoire vertelde me dat je ook creatiever kunt gaan met Co-pilot, en zeggen: maak een afbeelding van een hond in CSS, met de toevoeging ‘rainbow’ 🌈 . (Helaas moet je eerst op een wachtlijst voordat je Co-pilot zelf kunt uitproberen.)

Laten we toch vooral hopen dat development en design niet terug te brengen zijn tot een set commando’s 😱.

Stel je voor dat je met hulp van de transcriptie- en NER-tools uit de vorige editie allerlei eerdere interviews van je aanstaande gast hebt verwerkt en geanalyseerd. Vervolgens voer je een AI-interviewapp die teksten en geeft deze twee opdrachten mee:

Ik kan me bovenstaande twee use cases voorstellen dankzij het verhaal dat lezer Berend tipte:

👉Headlime.com, Rytr.me en Copy.ai kunnen alledrie overweg met Nederlandse taal. Je kunt koppen genereren, variaties op advertentieteksten laten schrijven, pitchteksten oppeppen en copy-voorstellen uitkiezen voor je site, blog of social posts. Ben benieuwd welke jouw weapon of choice gaat zijn.

👉 UIzard.io - Niet helemaal natural language, maar wel impressive is deze wireframing- en prototypingtool die je handschetsen omzet in digitale UI-componenten.

👉Descript - Deze audiovisuele editing tool heeft naast een aantal natural language processing skills ook de mogelijkheid tot spraakgeneratie. Door een opgegeven tekst in te spreken, wordt je eigen stem gesynthetiseerd. Oftewel: je typt een tekst die vervolgens uitgesproken wordt door de computer-gegenereerde versie van je eigen stem. Handig als er net een vliegtuig overkwam of een hond blafte tijdens je interview. Hoogleraar journalistiek Bart Brouwers experimenteerde er al mee. (Let op: Descript werkt vooralsnog alleen Engelstalig).

Dit was ‘m weer voor deze week. Succes met je schepping 💫; stuur me vooral de resultaten! Weet me ook te vinden als je vragen, bedenkingen of aanvullingen hebt. Tot volgende week. Dan behandel ik computer vision. Groet, Laurens

Het verloop van het creatieve proces van het AI Songfestival-team is tekenend voor hoe experimenten met natuurlijke tekst generatie doorgaans verlopen. Het laat de complexe realiteit ervan goed zien. Laten we die nog eens ontrafelen…

Wanneer je je initiële verlangens en creatieve vergezichten wil gaan realiseren - die verlangens heb je ongetwijfeld als het gaat om Het Scheppen van Tekst - loop je al vrij snel tegen de eerste beperking aan: die van ons relatief kleine taalgebied. Door het ontbreken van kwalitatief hoogwaardige, op het Nederlands getrainde taalmodellen, zijn de resultaten niet snel ‘natuurlijk’ of goed bruikbaar in complexere contexten.

Daarnaast vermoed ik dat voor veel lezers van deze nieuwsbrief het volgende een obstakel is: aan het AI Songfestivalproject hebben naast mediamakers, muzikanten en tekstschrijvers ook computerwetenschappers en developers meegewerkt. Zonder die laatste twee was er waarschijnlijk niet veel van terechtgekomen. (Ik durf overigens te beweren dat je anno 2021 echt een heel eind kan komen zonder te programmeren of een master AI op zak te hebben.) Wees je dus bewust van wat zowel je eigen beperkingen zijn, als die van de technologie an sich.

Misschien wel het grootste probleem rond natural language processing is de meegebakken bias (= vooroordelen). Denk dan aan racisme (doet Tay van Microsoft een belletje rinkelen?!), clichés, heersende culturele normen en onwenselijkheden zoals haat en gewelddadigheid die in de gebruikte taalmodellen verscholen liggen.

Je hebt hierbij zelf ook een verantwoordelijkheid: kies bewust voor het LLM dat je als basis kiest, en kijk goed naar de selectie van de teksten waarmee je jouw model verder traint en fine-tuned.

Er is naast awareness op Europees overheidsniveau (met beleid, wet- en regelgeving in de maak), ook steeds meer aandacht voor de issues rondom AI & taal. Toegepaste wetenschappers (zoals ex-Googler Margaret Mitchell), softwarebouwers zoals Hugging Face en creatieve makers zelf (bv. journalisten uit Tunesië en Argentinië), zijn allemaal bezig om horden weg te nemen en alternatieve, creatieve aanpakken voor te stellen.

Meer weten? Kijk en luister dan het volgende:

Als je GPT-3 in actie wil zien, kijk dan op All about GPT-3 of gpt3demo.com. Vrij willekeurige overzichten van allerlei toepassingen gebouwd op versie 3 van de Generative Pre-Trained Text Transformer van OpenAI.