Ataman will den Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme verbessern. Denn bisher ist unklar, was passiert, wenn eine Benachteiligung nicht von einem Menschen, sondern einem Algorithmus ausgeht. Ataman legte dazu am 30.08.2023 das Rechtsgutachten „Automatisch benachteiligt – Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme“ der Autor*innen Prof. Dr. Indra Spiecker gen. Döhmann und Prof. Dr. Emanuel V. Towfigh vor.

„KI macht vieles leichter – leider auch Diskriminierung. Ob in Bewerbungsverfahren, bei Bankkrediten, Versicherungen oder der Vergabe staatlicher Leistungen: Immer öfter übernehmen automatisierte Systeme oder Künstliche Intelligenz Entscheidungen, die für Menschen im Alltag wichtig sind. Hier werden Wahrscheinlichkeitsaussagen auf der Grundlage von pauschalen Gruppenmerkmalen getroffen. Was auf den ersten Blick objektiv wirkt, kann automatisch Vorurteile und Stereotype reproduzieren. Die Gefahren digitaler Diskriminierung dürfen wir auf keinen Fall unterschätzen“, sagte Ataman.

Die Bundesbeauftragte verwies auf das Beispiel Niederlande. In der dortigen „Kindergeldaffäre“ wurden im Jahr 2019 zu Unrecht mehr als 20.000 Menschen unter hohen Strafandrohungen aufgefordert, Kindergeld zurückzuzahlen. Mitverantwortlich war ein diskriminierender Algorithmus in der Software, betroffen waren vor allem Menschen mit doppelter Staatsbürgerschaft. Die Affäre führte 2021 zum Rücktritt der Regierung.

In den USA benachteiligten fehlerhaft programmierte Algorithmen bei Apple-Kreditkarten systematisch Frauen bei der Kreditvergabe, in Australien sollten nach einem Fehler eines KI-gestützten Entscheidungssystems hunderttausende Sozialhilfeempfänger*innen Geld zurückzahlen („Robodebt“-Skandal). Das Muster war dabei stets das gleiche: Für die Betroffenen war es kaum nachvollziehbar, wie die Entscheidungen zustande kamen. Und die Verursachenden – staatliche Stellen ebenso wie Unternehmen – verließen sich auch dann noch auf die automatisierten Entscheidungssysteme, als längst klar war, dass sie fehlerhaft waren.

Auch das am Mittwoch vorgestellte Gutachten sieht in der Fehleranfälligkeit automatisierter Entscheidungssysteme ein zentrales Problem: Die Qualität digitaler Entscheidungen hänge wesentlich von den Daten ab, die in das System eingespeist werden. Ob diese fehlerfrei sind oder für ihren Zweck überhaupt geeignet waren, sei in der Regel weder für die Verwender*innen noch für die Adressat*innen der Systeme nachvollziehbar. Den Betroffenen ist häufig gar nicht bewusst, dass ein KI-System zum Einsatz gekommen ist. Zudem sind Informationen über die Arbeitsweise der Systeme in der Regel nicht zugänglich. Somit sind die Möglichkeiten, Diskriminierungen durch KI-Systeme zu erkennen und gegen sie vorzugehen, stark eingeschränkt.

Die Studie kommt zu dem Ergebnis, dass Regelungslücken im Allgemeinen Gleichbehandlungsgesetz (AGG) verhindern, dass der bestehende Rechtsschutz bei Diskriminierungen durch KI-Systeme wirkt. Ataman schlägt daher vor, den Schutz vor KI-basierter Diskriminierung im AGG zu verankern, um Betroffene besser zu schützen.

Konkret nannte die Unabhängige Bundesbeauftragte:

• Die Erweiterung des Anwendungsbereichs des AGG. Künftig sollte „Handeln durch automatisierte Entscheidungssysteme“ als Benachteiligung in § 3 AGG aufgenommen werden.
• Auskunfts- und Offenlegungspflichten von Betreiber*innen von KI-Systemen, um einen Einblick in die genutzten Daten und in die Funktionsweise des Systems zu ermöglichen.
• Die Einrichtung einer unabhängigen Schlichtungsstelle bei der Antidiskriminierungsstelle des Bundes sowie die Regelung eines verpflichtenden Schlichtungsverfahrens im AGG.
• Anpassung der Beweislastregel: Bislang müssen Betroffene vor Gericht Indizien einer Diskriminierung vorlegen, damit die Beweislasterleichterung des AGG greift. Betroffene haben aber keine Kenntnisse über die Funktionsweise des KI-Systems und können in die „Black Box“ digitaler Entscheidungen nicht hineinschauen. Verantwortliche von KI-Systemen sollten deshalb vor Gericht die Beweislast tragen, wenn sie ein solches System eingesetzt haben. Ähnliche Regelungen zur Beweislasterleichterung stehen bereits in den EU-Richtlinien zum Schutz vor Diskriminierung und in der von der EU-Kommission vorgeschlagenen KI-Haftungsrichtlinie.

Die Antidiskriminierungsstelle des Bundes (ADS) ist 2006 mit Inkrafttreten des Allgemeinen Gleichbehandlungsgesetzes (AGG) gegründet worden. Ziel des Gesetzes ist es, Diskriminierung aus rassistischen oder antisemitischen Gründen, wegen des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität zu verhindern oder zu beseitigen. Die ADS berät rechtlich, kann Stellungnahmen einholen und gütliche Einigungen vermitteln. Sie betreibt Forschung und Öffentlichkeitsarbeit zum Thema Diskriminierung. Seit 2022 wird die Leitung der Stelle als Unabhängige Bundesbeauftrage für Antidiskriminierung vom Deutschen Bundestag gewählt.

Pressemitteilung der Antidiskriminierungsstelle des Bundes vom 30.08.2023