Bekijk profielpagina

Klikdinges #99: Hoe ik mijn werk automatiseer

Klikdinges #99: Hoe ik mijn werk automatiseer
Door Jerry Vermanen • Editie #99 • Bekijk online
Hey, in deze Klikdinges kun je iets meer lezen over hoe ik suffe, saaie klusjes uitbesteed aan scripts, bots en sites.
En verder:
  • Een van mijn verhalen heeft geleid tot een gedenksteen
  • Woon jij in een progressieve, rechtspopulistische of confessionele buurt?
  • Automatisch gegeneerde artikelen, coalitie-Klikdingessen en desinformatie-onthullingen rondom de Tweede Kamerverkiezingen

Mijn Afgelopen Twee Weken
Na vier intens drukke weken voor de uitzendingen over de digitale verkiezingen had ik even een week vrij. Oh man, dat had ik ook echt even nodig. En misschien herken je dit gevoel wel: dat je je bijna schuldig voelt als je even niets doet.
Een van de manieren waarop ik dat schuldgevoel probeer te negeren, is een groot deel van mijn werk te automatiseren. Hoe kan ik allerlei online diensten en scripts voor mij laten werken? En welke apps gebruik ik nog meer om mijn ideeën tijdens vakanties even te parkeren. In deze Klikdinges geef ik je een kleine inkijk in hoe ik dat doe.
Een aantal van mijn Google Alerts.
Een aantal van mijn Google Alerts.
De eenvoudigste klusjes laat ik door Google Alerts opknappen. Uiteraard heb ik een ego-alert, maar ook wat er over Pointer, verschillende onderzoekstermen en slimme zoekopdrachten zoals site:rijksoverheid.nl filetype:pdf vertrouwelijk.
Ik gebruik ook sites zoals 1848.nl (voor Kamerstukken), LexisNexis (media-archief) en Visualping.io (om veranderingen op sites in de gaten te houden). Maar mijn laatste aankoop is een echte upgrade.
Ja, hij is zo klein. En nee, ik heb normalemensenhanden.
Ja, hij is zo klein. En nee, ik heb normalemensenhanden.
Vlak voor mijn week vrij kocht ik een Raspberry Pi: een minicomputer die ongeveer zo groot is als een pakje speelkaarten. Niet als vervanging van mijn Macbook, want een Pi is absoluut niet zo krachtig. Maar omdat het zo'n enorm klein en goedkoop apparaatje is, kun je er wel veel klusjes mee automatiseren.
Je moet echter wel een beetje Python leren. En het meest ingewikkelde van programmeren (en vaak het slechtst gedocumenteerd) is het opzetten van je projecten. Welke programma’s heb je nodig? Wat zijn environments? Waarom is een goede mappenstructuur cruciaal? Online wordt dat op weinig plekken echt goed uitgelegd: vaak nemen mensen gelijk een deep dive in de code. Dat werpt echt een hoge barrière op om te gaan programmeren. Wellicht dat ik daar in een latere Klikdinges nog eens op terugkom.
De Pi heeft standaard een programma genaamd Thonny Python IDE geïnstalleerd staan. Daarmee kun je direct aan de slag om Python te leren. Daarnaast heb ik programma’s zoals VNC Viewer (om mijn Pi op afstand te besturen) en Samba (voor een gedeelde netwerkmap) draaien.
Het doel van dit alles? Ik wil mijn Pi als automatische webscraper inzetten. Dus ik probeer al mijn belangrijke scripts in R en andere software momenteel om te zetten naar Python, en via Crontab kan ik die scrapers automatisch op mijn Pi draaien. Hieronder zie je overigens een enorm duidelijke video hoe zo'n Python-scraper wordt gemaakt.
Scrape blog posts part 2 - Pagination and Error Handling
Scrape blog posts part 2 - Pagination and Error Handling
Mijn workflow is nu dan ook:
  • Scraper op Macbook maken en op gedeelde netwerkmap opslaan
  • Testen op mijn Pi: werkt alles?
  • Via Crontab inplannen
  • Bestanden komen op mijn netwerkmap
  • Data! 🥳
Zoals gezegd ga ik er later nog dieper op in hoe ik alles organiseer. Want ook daar heb ik tijdens mijn vrije dagen een flinke verbetering in aangebracht.
Na mijn uitzendingen had ik nog twee publicaties in de planning staan. De eerste heeft een speciale plek in mijn hart. Mei 2020 publiceerde ik met Stefan Vermeulen van Follow the Money een artikel over roofhandel aan De Ruyterkade 127 in Amsterdam: onderdeel van ons onderzoek naar de Vastgoedboeken.
TL;DR het pand werd in WOII onteigend, en de toenmalige eigenaar Mozes Poppelhouwer vermoord. Naar aanleiding van dat verhaal laat de huidige eigenaar Sjoerd Nauta een gedenksteen plaatsen. Dat maakt me echt ongelooflijk trots. Het is zo'n resultaat uit een onderzoek dat je nooit vooraf verwacht. Over het plaatsen van die gedenksteen maakte ik samen met Wouter Hoek een kort verhaal met video.
Gedenksteen voor slachtoffer roofhandel en moord: 'Deze mensen zijn verdwenen, letterlijk in rook opgegaan'
En dan waren er ook nog de Tweede Kamerverkiezingen. Twee jaar geleden belden we met De Volkskrant en Open State Foundation nog drie dagen lang alle gemeenten na voor de verkiezingsuitslag. Slechts 24 procent publiceerde de uitslag namelijk openbaar, in een open format (zoals XLS, XML of CSV) en in de juiste indeling (zoals die uit OSV-software komt rollen).
Dus dit jaar hebben we ons weer schrap gezet. Want ondanks een wetsvoorstel verwachtten we toch dat gemeenten erg moeilijk zouden doen. Maar het tegendeel blijkt waar: binnen een week heeft bijna elke gemeente de uitslag online staan.
Met bovengenoemde partijen en Pointer-collega’s Thomas de Beus, Inge Oosterhoff en Liza Titawano hebben we de gegevens verzameld, en developers Els Engels en Marije Rooze hebben daar een waanzinnig gave kaart van gemaakt.
Stembureau in Woerden trok tijdens de verkiezingen meest diverse groep stemmers
Toffe Klikdingessen
Hoe is er gestemd in jouw gemeente? Bekijk de uitslagen
Uitslagen Tweede Kamerverkiezingen 2021 - verkiezingensite.nl
Het NYT Visual Investigations-team blijft gave video’s maken op YouTube. In onderstaande video wordt snel en duidelijk uitgelegd hoe een mysterieuze olietanker het embargo van Noord-Korea omzeilt.
How a Mysterious Ship Helps North Korea Evade Oil Sanctions | Visual Investigations
How a Mysterious Ship Helps North Korea Evade Oil Sanctions | Visual Investigations
Which color scale to use when visualizing data
Fetch information about a public Google document.
Kieskijkers terugblik op manipulatie en desinformatie rond de verkiezingen van 2021
Git scraping: track changes over time by scraping to a Git repository
The naked truth
Ever Given Ever Ywhere
Vind Ik Leuk
De volgende Klikdinges is alweer de 100e editie. Tot over 2 weken. En blijf gezond!
Hopelijk zie je nu ook hoe handig het kan zijn om je onderzoek te automatiseren. Word ook een luie journalist! Of nou ja, koop eerst het Handboek Internetresearch & Datajournalistiek, en maak het jezelf daarna wat makkelijker.
Vond je deze editie leuk?
Jerry Vermanen

In deze tweewekelijkse nieuwsbrief blijf je op de hoogte van het beste dat interactieve journalistiek te bieden heeft. Daarnaast vertel ik je over mijn eigen werk als datajournalist bij Pointer.

Klik hier om je uit te schrijven.
Als deze nieuwsbrief doorgestuurd is en je wilt je aanmelden, klik dan hier.
Gemaakt door Jerry Vermanen met Revue.