Auch über algorithmische Systeme, die über Sozialleistungen entscheiden und Menschen in den Ruin treiben, weil ihre Entscheidungen falsch und nicht nachprüfbar sind – und niemand den Betroffenen glaubt – habe ich hier schon ein paar Mal geschrieben. Auch die beiden Bücher zum Thema empfehle ich hier gerne nochmal:
Weapons of Math Destruction von Cathy O'Neil und
Automating Inequality von Virginia Eubanks. Wegen so eines Falles ist kürzlich die niederländische Regierung zurückgetreten. Zig Familien wurde jahrelang unterstellt, sie hätten fälschlicherweise Gelder für Kinderbetreuung bekommen, die ihnen nicht zustünden. Wie immer in solchen Fällen bei Sozialleistungen treffen diese falschen und nicht überprüften automatisierten Entscheidungen Menschen, die eh schon am Rande der Gesellschaft stehen besonders heftig. Der Skandal zeigte zudem, wie rassistisch die Algorithmen waren und wie sehr politische Debatten diese Einstellung der Systeme prägen. So wurde beispielsweise eine doppelte Staatsbürgerschaft als Indiz genommen, dass Betrug wahrscheinlicher mache.
The fear of people gaming welfare systems is far from new and not particular to the Netherlands, but the rise of xenophobic far-right populism has placed it centerstage in the national political discourse. Anti-immigrant politics have become increasingly normalized, and immigrants are often painted as a threat to the Dutch welfare state.
Following this, a hardline stance regarding benefits fraud has become mostly politically uniform (even among many left-wing parties) over the past decade.
“Who pays the bill?” asked Geert Wilders, leader of the anti-immigrant Dutch Party for Freedom (the second largest party in the country), during a speech in 2008. “It’s the people of the Netherlands, the people who work hard, who properly save money and properly pay their taxes. The regular Dutch person does not receive money as a gift. Henk and Ingrid pay for Mohammed and Fatima.”
Weil keine Gelder mehr für die Kinderbetreuung ausgezahlt wurden, konnten sich Familien nicht mehr die Kinderbetreuung leisten. Ein Elternteil, häufig die Mutter, musste als ihren Job aufgeben, um die Kinder zu betreuen – weiteres, dringend benötigtes Einkommen der Familie fiel weg. Zusätzlich zu den Forderungen zur Rückerstattung, die beglichen werden sollten. Kosten für einen Anwalt muss man sich in solchen Fällen auch erstmal leisten können, zumal treu glaubende Menschen ja eher denken, dass sie wirklich was falsch gemacht haben, und der Staat sie nicht anlügt.
Beyond transparency, safeguards and accountability are especially important when algorithms are given enormous power over people’s livelihoods, but as of now little of that exists in the Netherlands. And, in the meantime, smart algorithms and automated systems continue to take over a larger and larger share of administrative procedures.
For now, the families wrongly accused of fraud are waiting to be given €30,000 each in compensation, but that won’t be enough to make up for the divorces, broken homes, and the psychological toll that resulted from the affair.
Der Fall in den Niederlanden sollte uns wirklich aufschrecken und stärken darauf hinwirken lassen, Daten und algorithmische Systeme besser zu kontrollieren und zu überprüfen. Denn unsere Annahmen auf die Welt fließen hier ein und die, die die Annahmen aufstellen, sind meist nicht die, auf deren Leben diese algorithmischen Systeme Auswirkungen haben.