Künstliche Intelligente Diskriminierung: Warum Big Data im Dilemma steckt

Aber wenn Versicherungsmathematiker solche Rechenmodelle – auch Algorithmen genannt – nutzen, um entscheiden zu helfen, wer zu welchem Preis eine Versicherung bekommt, dann greifen sie dabei gar nicht direkt auf Gesundheitsdaten zurück. „Entweder die Verordnung wird eng ausgelegt, und nur die direkte Nutzung sensibler Daten ist gemeint, dann ist damit kein Schutz vor Diskriminierung verbunden“, schließen Goodman und Flaxman. Oder aber, in einer weiteren Interpretation ist auch die Nutzung von Daten gemeint, die starke Rückschlüsse auf die sensiblen Eigenschaften zulassen: „Dann ist die Vorschrift nicht praktikabel.“

Letzteres deshalb, weil sich die Algorithmen der neueren Generation kaum noch verständlich erklären lassen. Dies gilt umso mehr, wenn es sich um lernende Systeme handelt, die den Algorithmus selbstständig weiterentwickeln. Dann wissen selbst die Entwickler nicht mehr genau, welche Daten in welcher Kombination wie gewichtet und interpretiert werden.

Risiken für Unternehmen

Die Wirtschaftsethikerin Adair Morse von der University of California und die Notenbankökonomin Karen Pence haben im Aufsatz „Technological Innovation and Discrimination in Household Finance“ die Probleme behandelt, die sich im Bereich Finanzen ergeben. 

Sie machen die großen Risiken deutlich, vor denen Unternehmen angesichts des Auseinanderfallens von Regeln und aktuellen technischen Möglichkeiten stehen. Ebenso deutlich wird die große und schwierige Herausforderung für Gesetzgeber und Juristen, eine praktikable Lösung zu finden. 

Die gute Nachricht ist, dass datengestützte Entscheidungen das Potenzial für die besonders unappetitliche Form der Diskriminierung reduzieren, die im ökonomischen Fachjargon „Taste based discrimination“ heißt, also Diskriminierung aufgrund von Abneigung oder Vorurteilen. Wenn Entscheider nicht mehr so viel freien Entscheidungsspielraum haben, können sie nicht mehr so leicht Menschen diskriminieren, die sie nicht mögen.

Die schlechte Nachricht: Die zweite Form der Diskriminierung, die „statistische Diskriminierung“, könnte durch datengestützte Erstellung von Profilen und Entscheidungen stärker um sich greifen.

Statistische Diskriminierung liegt vor, wenn man mangels Informationen über das Individuum, zum Beispiel über seine Kreditwürdigkeit oder Lebenserwartung, auf Durchschnittswerte einer Gruppe zurückgreift, der dieser Mensch angehört. Eine Frau wird entsprechend anders eingestuft als ein Mann. Bei Lebensversicherungen war das lange üblich, bis es die Gerichte als diskriminierend verboten.

Mit zunehmender Datenmenge wird es für kommerzielle Nutzer schwerer, diese Form der Diskriminierung zu vermeiden. Für die Gerichte und Regulierer wird es gleichzeitig schwieriger, sie nachzuweisen und zu ahnden.

Statistische Diskriminierung dient der Gewinnmaximierung. Das ist ein Motiv, das die Rechtsprechung im Prinzip als legitim akzeptiert. Aber die Grenzen des Erlaubten sind fließend. Problematisch wird es etwa, wenn die Gutgläubigkeit oder die höheren Informationskosten von ohnehin benachteiligten Gruppen dazu genutzt werden, diesen höhere Preise abzuverlangen als anderen. Das kann den Regeln für einen gleichberechtigten Zugang zu Waren und Dienstleistungen widersprechen.

Zwar war es bisher schon so, dass Verkäufer, zum Beispiel von Autos oder Krediten, Faustregeln über die Möglichkeiten verschiedener Gruppen zum Preisvergleich für Preisdifferenzierung nutzten. Wenn jedoch heute Algorithmen anhand sehr vieler Daten berechnen können, wie preissensibel jeder Einzelne ist, und man im Prinzip jedem Käufer einen unterschiedlichen Preis machen kann, bekommt das eine ganz neue Qualität.

Diskriminierung kann sich auch auf unerwartete Weise ergeben, etwa wenn Minderheiten in den Datensätzen, mit denen Künstliche Intelligenz trainiert wird, stark unterrepräsentiert sind. Bei Gesichtserkennung hat das dazu geführt, dass Hellhäutige und Männer viel zuverlässiger erkannt werden als Dunkelhäutige und Frauen. 

Werden Kreditausfallwahrscheinlichkeiten ermittelt, so führt der Effekt der geringen Zahl dazu, dass die Schätzung für Minderheiten deutlich unsicherer ist. Begrenzt der Algorithmus die Kreditvergabe auf ein Ausfallrisiko unter einem Schwellenwert, kann allein das für die Minderheit zu Ablehnungen führen, auch wenn Kreditausfälle in ihrer Gruppe gar nicht häufiger sind.

Verräterische Käufe

Konnten die Gerichte unterschiedliche Versicherungsprämien für Männer und Frauen leicht erkennen und darüber urteilen, so ist es heute kaum noch möglich zu bestimmen, ob indirekt nach Geschlecht, Alter oder Gesundheit diskriminiert wird. Denn in die Algorithmen gehen manchmal Tausende Merkmale ein. Selbst wenn die geschützten Merkmale nicht dabei sind, so sind sie doch sehr oft indirekt dabei, zum Beispiel, weil Männer selten Tampons kaufen und der Kauf von Medikamenten gute Rückschlüsse auf Alter und Gesundheitszustand zulässt. 

Umso dringender müssen sich Politiker, Regulierer und Gerichte der Aufgabe stellen, die einschlägigen Gesetze, Urteile und Regulierungsvorgaben zum Thema Diskriminierung an eine neue Situation anzupassen, in der die Ungleichbehandlung in den Datensätzen angelegt ist und von kaum noch zu durchschauenden Algorithmen „beschlossen“ wird. „Die Entscheidungen der nächsten Jahre werden beeinflussen, ob Diskriminierung bei Finanzdienstleistungen allgegenwärtig wird oder nicht“, warnen Morse und Pence. 

Sie bieten zwar keine ausdiskutierten Lösungen für dieses Problem, deuten aber an, wo eine solche liegen könnte. Sie halten das bisherige Prüfsystem für nicht länger praktikabel. Dabei wird anhand der in eine kommerzielle Entscheidung eingehenden Variablen geprüft, ob Diskriminierung vorliegt. 

Sie werben dafür, über ein Output-orientiertes Modell nachzudenken. Danach wäre als Diskriminierung zu werten, was Menschen mit bestimmten geschützten Merkmalen im Ergebnis schlechter stellt als Menschen ohne dieses Merkmal.

Gleichzeitig beklagen sie, dass die wirtschaftswissenschaftliche Forschung nicht so viel zu der nötigen Anpassung beitragen kann, wie sie könnte. Forschung, die die Interessen der Konsumenten ins Zentrum rückt, finde kaum noch statt. Es gehe stattdessen fast nur noch um die Interessen der datennutzenden Unternehmen.

Als Grund machen sie die Macht derer aus, die die Daten haben. „Die Algorithmen sind komplex, und die Daten sind Eigentum der Technologiekonzerne“, erläutern sie, und weiter: „Deshalb findet viel Forschung notwendigerweise in Partnerschaft mit diesen statt.“

Mehr: Das ist der Unterschied zwischen KI und erklärbarer KI.