Super Vision #4: 💻👀

#4・
220

abonnees

13

edities

Super Vision #4: 💻👀
Door Laurens Vreekamp • Editie #4 • Bekijk online
Hi, vandaag leg ik uit wat Computer Vision is: wat het kan en waar je het al ziet. Ik schets use cases voor mediamakers, tip online tools om mee te starten en heb een heuse AI-eventkalender voor je.
Welkom aan alle nieuwe abonnees 👋 (En dank voor de mentions, Nick en Elger.) Je hebt zojuist de vierde (maar jouw eerste, 😉) Super Vision geopend!
📗De geschatte leestijd van deze editie is ±8 minuten. Veel plezier! Groet, Laurens VreekampFuture Journalism Today Academy.
Volgende week ga ik het trouwens hebben over labeling van data. Heb je daar al mee gewerkt of ken je een interessant voorbeeld of tool? Laat het me weten: laurens@futurejournalismtoday.com

Deze week: 💻👀
Computer Vision in actie; The Flemish Scrollers, Dries Depoorter
Computer Vision in actie; The Flemish Scrollers, Dries Depoorter
“Beste politicus, blijf gefocust!“
Zo luidt de tekst van een automatisch gegenereerde tweet (of instagram post) die Vlaamse politici tegenwoordig kunnen verwachten van een AI. Wanneer deze detecteert dat een volksvertegenwoordiger met de smartphone bezig is tijdens een debat, wordt bovenstaand bericht automatisch aan de geïdentificeerde politicus verstuurd, vergezeld van een video als bewijs.
De toepassing is gebouwd door de Belgische kunstenaar Dries Depoorter. Hij maakt hiervoor gebruik van object detection (het herkennen van de telefoon) en face recognition (herkennen van de politicus). Dit zijn twee onderdelen van AI-technologie die Computer Vision (CV) wordt genoemd. Om zijn toepassing te bouwen, zal Depoorter waarschijnlijk honderden foto’s per politicus verzameld hebben, en nog eens duizenden van handen die telefoons vasthouden.
Het door de kunstenaar getrainde Computer Vision-model analyseert de Youtube livestreams van vergaderingen en debatten in het Vlaamse parlement om zo de berichten naar de juiste politici te sturen.
1. Wat is Computer Vision?
Heel kort: computertechnologie die beeld analyseert. Of uitgebreider:
Computer vision, vaak afgekort als CV, is een subdomein van AI en wordt gedefinieerd als een vakgebied dat technieken probeert te ontwikkelen om computers te helpen de inhoud van digitale afbeeldingen zoals foto’s en video’s te ‘zien’ en te begrijpen. Vanuit het perspectief van engineering probeert CV taken die het menselijke visuele systeem kan uitvoeren te begrijpen en te automatiseren.
Computer Vision is -naast Natural Language Processing- een belangrijke subcategorie van machine learning. Computer Vision kun je vervolgens weer toepassen op verschillende deelgebieden zoals gezichtsherkenning, object detection en pose recognition.
Een CV-model train je met behulp van eigen beeldmateriaal of op basis van bestaande datasets. Wanneer het model goed genoeg is, herkent deze binnen milliseconden (gezichten van) personen, gebouwen, objecten, fruit of gerechten in foto’s of video’s.
Er zijn bedrijven die zeggen met Computer Vision ook emoties te kunnen herkennen. Dat is naast omstreden ook nogal onbetrouwbaar, zo ervaar je ook al gauw zelf met deze twee AI-powered interactives:
2. Waarom moet je dit weten?
Object-detectie met het YOLO-model: You Only Look Once
Object-detectie met het YOLO-model: You Only Look Once
Dat zelfrijdende auto’s niet zonder Computer Vision kunnen, zul je wel begrijpen. Ze moeten immers verkeersborden, drempels, mede-weggebruikers, dieren en overwaaiende dozen kunnen herkennen om te functioneren. En dat filters in Snapchat en Instagram gezichten moeten herkennen, daar ben je ongetwijfeld mee bekend. Maar dat het bij het tanken altijd even duurt voordat de benzine uit de pomp komt, omdat eerst je kenteken wordt gecheckt door een CV, dat wist je misschien niet. Ik in ieder geval pas sinds ik dit boek van Jim Stolze las.
Visuele archieven metadateren
Journalistieke organisaties gebruiken intern al diverse beeldherkenningstechnieken. Zoals -het zal ook ‘ns niet- de New York Times; daar bouwden ze zelf een model om hun fotoarchief beter te metadateren. Dichter bij huis heeft in Nederland o.a. het ANP een project lopen om miljoenen beelden in hun fotobanken te beschrijven. Er wordt zelfs geprobeerd een ’aesthetic ranking’ toe te kennen aan een foto. Ik ben wel benieuwd hoe ver ze hier ondertussen mee zijn…
Onderzoeksjournalistiek
Het Oekraïense onderzoekscollectief Texty.org ontdekte illegale mijnbouw door satellietfoto’s te analyseren en te classificeren met Computer Vision. De Nederlandse journalist Jerry Vermanen (KRO-NCRV’s Pointer) trainde een eigen beeldherkenningsmodel om vuurwapens op foto’s te herkennen en schreef daarover: “Je voelt je zo slim zodra een bak met 1.500 foto’s nagenoeg foutloos wordt gelabeld.” En VRT-journalist Tom van de Weghe deed mee aan een onderzoek van Stanford University om bias in tv-uitzendingen te ontdekken.
3. Wanneer ga je Computer Vision gebruiken?
Met Computer Vision kun je een machine leren om vragen te beantwoorden als:
  • Wat gebeurt er op deze (camera)beelden?
  • Welke personen staan er op een foto?
  • Welke lichaamshouding neemt een persoon in situatie x aan?
  • Welke objecten zien we in een afbeelding?
  • Bij welke architectonische stijl hoort dit gebouw?
Als maker kun je CV op twee manieren inzetten: tijdens je onderzoeksproces of als interactieve toepassing voor je eindgebruiker.
Als je als journalist werkt, en een van je kerntaken is ‘holding power to account’, dan heb je met Computer Vision een krachtig middel in handen. Zo kun je de aanwezigheid van bepaalde personen of groeperingen bij vergaderingen of demonstraties inventariseren en turven. Dit kun je met CV doen door bijvoorbeeld specifiek te kijken naar logo’s, outfits, meegebrachte vlaggen, insignes of spandoeken.
Daarnaast kun je spelden vinden in verschillende hooibergen, zolang je een aantal goede voorbeelden hebt van de speld die je zoekt. Is je vraag: ‘Waar en hoe komt ontwikkelingssteun terecht?’ dan zoek je bijvoorbeeld middels CV snel door duizenden foto’s en video’s op social media waar gesubsidieerd politie- of geexporteerdoorlogsmaterieel in het buitenland in voor komt.
User research & customer service
Maar ook als je user research of marketingonderzoek doet naar gebruik van bepaalde of hoe mensen accessoires tonen op social media. Of: wat Vlamingen doorgaans aan tuinmeubilair hebben; met Computer Vision kun je beelden classificeren aan de hand van door jou zelf opgestelde visuele criteria.
CV helpt je ook om de helpdeskervaring of customer service journey van je klant te verbeteren. Zo kan ik me voorstellen dat zorgverzekeraars beelden van schade sneller kunnen categoriseren en analyseren wanneer een polishouder foto’s bijvoegt.
De keerzijde
Problemen, ongewenste uitkomsten en andere misstanden met toegepaste Computer Vision komen vrijwel wekelijks in het nieuws - met name rond gezichtsherkenning. Deze twee licht ik er graag uit:
Objective or Biased
Facial Recognition: What Happens When We’re Tracked Everywhere We Go? - The New York Times
4. Waar zie je CV al / ben je in beeld?
Brickit.app herkent je LEGO-stukjes en doet bouwsuggesties
Brickit.app herkent je LEGO-stukjes en doet bouwsuggesties
🧱Indrukwekkend is de Brickit.app (zie afbeelding), waarmee je door het scannen van je losse LEGO-blokjes voorbeelden krijgt van mogelijke bouwsels. Toepasbaar op jouw werk wellicht?
🤦🏻‍♂️Als gimmick wist interactief bureau Red Pepper het complete spelelement uit het zoekspel Where is Waldo te elimineren, door een AI te trainen op het herkennen van Waldo.
🚊🎨De Nederlandse Spoorwegen hebben een CV-toepassing voor medewerkers gebouwd waarmee ze in hun database bekende ‘artists’ visueel matchen met nieuwe graffiti op treinen.
Berghaintrainer
5. Zelf leren kijken met AI?
Leer een AI wat een rijpe banaan is; Teachable Machine, Google
Leer een AI wat een rijpe banaan is; Teachable Machine, Google
👉 Teachable Machine -Veruit het makkelijkst (en vermakelijkst) experimenteer je met Computer Vision met Google’s Teachable Machine. Via je webcam toon je voorwerpen (of poses) die herkend moeten worden, en houdt record ingedrukt. Vervolgens start je de beeldclassificatietraining. Er wordt een uniek CV-model voor jouw objecten (‘classes’) opgebouwd door de specifieke kenmerken ervan te leren kennen. Training klaar? Test dan de kwaliteit van je model voor je eigen webcam of deel ‘m met anderen. Stuur me de link naar je model: laurens@futurejournalismtoday.com
👉 Lobe.ai -Intuïtieve desktopapp van Microsoft. waarmee je middels drag&drop heel eenvoudig een beeldclassificatiemodel maakt. Je kunt zowel beelden vanaf je computer gebruiken als je webcam. Er is ook een exporteerfunctie voor formaten waar developers mee werken. Zo kun je jouw CV-model in een iOS-, Android-app of site implementeren.
👉 AutoML Vision - Google Cloud  Deze omgeving van Google werkt -zoals de naam al doet vermoeden- in de cloud. Je krijgt gratis credits waarmee je een aantal Computer Vision-modellen kunt trainen met eigen beeldmateriaal. Te gebruiken voor beeldclassificatie en object-detectie.
Dit was ‘m weer voor deze week. Veel experimenteerplezier. En stuur me vooral je Teachable Machine of Lobe.ai testjes door. Tot volgende week. Dan behandel ik labeling van data.
*NIEUW* 🎤 De AI agenda
Expedition: future; 
Abnormal Automation: a Speculative Workshop | Waag
Kenniscentrum Data & Maatschappij – AI en journalistiek: tools en ervaringen
Further viewing, coding & reading
Alle grote tech-bedrijven hebben Computer Vision toepassingen waarover ze graag publiceren. De meesten kun je als maker ook benutten. Ik noem ze hieronder, maar start met een open source variant.
Tutorial: A Guide to Learn OpenCV - PyImageSearch
Recognizing People in Photos Through Private On-Device Machine Learning - Apple Machine Learning Research
AutoML Vision Beginner's guide  |  Google Cloud
SEER: The start of a more powerful, flexible, and accessible era for computer vision
Vond je deze editie leuk?
Laurens Vreekamp

Iedere donderdagochtend schrijf ik over één thema, techniek of tool die je -hopelijk- inspireert en helpt machine learning & AI beter te begrijpen en toe te passen in je werk. (Geen kennis van programmeren, wiskunde of statistiek vereist!)

Ondertussen werk ik aan een boek waarin de technieken, tools en thema’s rondom creatieve AI-toepassingen gebundeld worden, waarin makers aan het woord komen en hun stappenplannen worden gedeeld.

Klik hier om je uit te schrijven.
Als deze nieuwsbrief doorgestuurd is en je wilt je aanmelden, klik dan hier.
Gemaakt door Laurens Vreekamp met Revue.
Laurens Vreekamp, Amsterdam, Nederland