Klikdinges #99: Hoe ik mijn werk automatiseer

Hey, in deze Klikdinges kun je iets meer lezen over hoe ik suffe, saaie klusjes uitbesteed aan scripts, bots en sites.

Na vier intens drukke weken voor de uitzendingen over de digitale verkiezingen had ik even een week vrij. Oh man, dat had ik ook echt even nodig. En misschien herken je dit gevoel wel: dat je je bijna schuldig voelt als je even niets doet.

Een van de manieren waarop ik dat schuldgevoel probeer te negeren, is een groot deel van mijn werk te automatiseren. Hoe kan ik allerlei online diensten en scripts voor mij laten werken? En welke apps gebruik ik nog meer om mijn ideeën tijdens vakanties even te parkeren. In deze Klikdinges geef ik je een kleine inkijk in hoe ik dat doe.

De eenvoudigste klusjes laat ik door Google Alerts opknappen. Uiteraard heb ik een ego-alert, maar ook wat er over Pointer, verschillende onderzoekstermen en slimme zoekopdrachten zoals site:rijksoverheid.nl filetype:pdf vertrouwelijk.

Ik gebruik ook sites zoals 1848.nl (voor Kamerstukken), LexisNexis (media-archief) en Visualping.io (om veranderingen op sites in de gaten te houden). Maar mijn laatste aankoop is een echte upgrade.

Vlak voor mijn week vrij kocht ik een Raspberry Pi: een minicomputer die ongeveer zo groot is als een pakje speelkaarten. Niet als vervanging van mijn Macbook, want een Pi is absoluut niet zo krachtig. Maar omdat het zo'n enorm klein en goedkoop apparaatje is, kun je er wel veel klusjes mee automatiseren.

Je moet echter wel een beetje Python leren. En het meest ingewikkelde van programmeren (en vaak het slechtst gedocumenteerd) is het opzetten van je projecten. Welke programma’s heb je nodig? Wat zijn environments? Waarom is een goede mappenstructuur cruciaal? Online wordt dat op weinig plekken echt goed uitgelegd: vaak nemen mensen gelijk een deep dive in de code. Dat werpt echt een hoge barrière op om te gaan programmeren. Wellicht dat ik daar in een latere Klikdinges nog eens op terugkom.

De Pi heeft standaard een programma genaamd Thonny Python IDE geïnstalleerd staan. Daarmee kun je direct aan de slag om Python te leren. Daarnaast heb ik programma’s zoals VNC Viewer (om mijn Pi op afstand te besturen) en Samba (voor een gedeelde netwerkmap) draaien.

Het doel van dit alles? Ik wil mijn Pi als automatische webscraper inzetten. Dus ik probeer al mijn belangrijke scripts in R en andere software momenteel om te zetten naar Python, en via Crontab kan ik die scrapers automatisch op mijn Pi draaien. Hieronder zie je overigens een enorm duidelijke video hoe zo'n Python-scraper wordt gemaakt.

Mijn workflow is nu dan ook:

Zoals gezegd ga ik er later nog dieper op in hoe ik alles organiseer. Want ook daar heb ik tijdens mijn vrije dagen een flinke verbetering in aangebracht.

Na mijn uitzendingen had ik nog twee publicaties in de planning staan. De eerste heeft een speciale plek in mijn hart. Mei 2020 publiceerde ik met Stefan Vermeulen van Follow the Money een artikel over roofhandel aan De Ruyterkade 127 in Amsterdam: onderdeel van ons onderzoek naar de Vastgoedboeken.

TL;DR het pand werd in WOII onteigend, en de toenmalige eigenaar Mozes Poppelhouwer vermoord. Naar aanleiding van dat verhaal laat de huidige eigenaar Sjoerd Nauta een gedenksteen plaatsen. Dat maakt me echt ongelooflijk trots. Het is zo'n resultaat uit een onderzoek dat je nooit vooraf verwacht. Over het plaatsen van die gedenksteen maakte ik samen met Wouter Hoek een kort verhaal met video.

En dan waren er ook nog de Tweede Kamerverkiezingen. Twee jaar geleden belden we met De Volkskrant en Open State Foundation nog drie dagen lang alle gemeenten na voor de verkiezingsuitslag. Slechts 24 procent publiceerde de uitslag namelijk openbaar, in een open format (zoals XLS, XML of CSV) en in de juiste indeling (zoals die uit OSV-software komt rollen).

Dus dit jaar hebben we ons weer schrap gezet. Want ondanks een wetsvoorstel verwachtten we toch dat gemeenten erg moeilijk zouden doen. Maar het tegendeel blijkt waar: binnen een week heeft bijna elke gemeente de uitslag online staan.

Met bovengenoemde partijen en Pointer-collega’s Thomas de Beus, Inge Oosterhoff en Liza Titawano hebben we de gegevens verzameld, en developers Els Engels en Marije Rooze hebben daar een waanzinnig gave kaart van gemaakt.

Het NYT Visual Investigations-team blijft gave video’s maken op YouTube. In onderstaande video wordt snel en duidelijk uitgelegd hoe een mysterieuze olietanker het embargo van Noord-Korea omzeilt.

De volgende Klikdinges is alweer de 100e editie. Tot over 2 weken. En blijf gezond!

Hopelijk zie je nu ook hoe handig het kan zijn om je onderzoek te automatiseren. Word ook een luie journalist! Of nou ja, koop eerst het Handboek Internetresearch & Datajournalistiek, en maak het jezelf daarna wat makkelijker.