Blick in die Blackbox: Firmen brauchen einen neuen KI-Ansatz

Düsseldorf Als Darnell Gates aus dem Gefängnis kam, wusste er nicht, dass von jetzt an ein Computer maßgeblich über sein Leben entscheiden würde. Ob bei der Vereinbarung von Gesprächen mit dem Bewährungshelfer oder der Genehmigung für ein paar Tage Urlaub: Im Hintergrund bewertete ein System mit künstlicher Intelligenz permanent das Rückfallrisiko des 30-jährigen Afroamerikaners aus Philadelphia – und machte den Beamten strenge Vorschläge.

Auch Mohamed Bouchkhachakhe aus Rotterdam geriet in die Räder einer solchen Maschinerie. Die niederländische Stadt experimentierte mit einem Programm, um automatisch Bürger zu identifizieren, die zu Sozialhilfe- und Steuerbetrügern werden könnten. Die Behörde schrieb sie anschließend in einen „Risikobericht“.

Die beiden Männer, über die die „New York Times“ im Februar berichtet hat, mögen sehr unterschiedlich sein, eines haben sie jedoch miteinander gemeinsam: Beide sind Opfer von Systemen geworden, die mit künstlicher Intelligenz (KI) automatisch Vorhersagen über ihr künftiges Verhalten getroffen haben.

Das Problem: Die Algorithmen, die das ermöglichen sollen, werden mit Daten aus der Vergangenheit trainiert. Sie spiegeln somit eine Gesellschaft wider, die Menschen wie Gates und Bouchkhachakhe diskriminiert. Doch im Gegensatz zu einem Menschen, dessen Motive sich zumindest erahnen lassen, liefert die Maschine keine Antwort darauf, warum sie in Gates einen rückfallgefährdeten Straftäter und in Bouchkhachakhe einen potenziellen Sozialbetrüger sieht. Die KI gleicht einer Blackbox.

Einige Forscher glauben einen Ansatz gefunden zu haben, um das zu ändern. Sandra Wachter, KI-Forscherin an der Universität Oxford, ist eine von ihnen. Sie will die Entscheidungen von Algorithmen erklärbar machen und so Licht in die Blackbox bringen.

„Erklärbare KI ist ein lebhaftes Forschungsfeld, auf dem ständig Fortschritte gemacht werden“, sagt Wachter dem Handelsblatt. „So könnten die Methoden der erklärbaren KI in Zukunft der neue Standard in der KI-Forschung und in der Unternehmenswelt werden.“

Denn die bisherige Technologie hat ein Vertrauensproblem. Egal, ob es um den Einfluss auf Wahlen durch Facebook geht, um die Gesichtserkennungssoftware von Amazon oder die Suchergebnisse von Google – es steht der Vorwurf im Raum, dass KI menschliche Vorurteile verstärkt und so die Welt rassistischer, homophober und aggressiver macht. Sie gefährdet zudem die Freiheit des Menschen, nicht nur im Überwachungsstaat China.

Seit Anfang des Jahres nutzt zum Beispiel die Londoner Polizei KI für die Echtzeitgesichtserkennung, in Schweden setzen immer mehr Städte bei der Verwaltung ihrer Sozialleistungen Algorithmen ein und in der französischen Stadt Roubaix verwendet die Polizei eine Verhaltenserkennung, die mit über 100 Kameras in der Stadt verknüpft ist, um Bußgelder aus der Ferne verhängen zu können.

Mitte Februar hat die Europäische Kommission deswegen in ihrem „Weißbuch“ zur Künstlichen Intelligenz gefordert, dass selbstlernende Systeme vom Menschen überprüfbar sein müssen. Vera Jourova, Vizepräsidentin der Kommission, sprach sich dafür aus, „Black-Box-Algorithmen“ für Behörden zugänglich zu machen.

Auch bei Unternehmen wie Bosch hat sich diese Erkenntnis durchgesetzt. In einem Gastbeitrag im Handelsblatt erklärte Bosch-Chef Volkmar Denner kürzlich, dass man beides entwickeln müsse, KI, aber auch Vertrauen in die KI. „Das eine wird sich nur mit dem anderen durchsetzen“, schreibt Denner.

Transparenter Lernprozess

In ihrer Funktionsweise unterscheiden sich beide KI-Formen kaum voneinander. Beide werden zunächst mit Daten versorgt, aus denen sie nach einem maschinellen Lernprozess Schlüsse ziehen und Entscheidungen formen. Doch im Gegensatz zu einer „herkömmlichen“ KI, bei der dieser Lernprozess für Menschen von außen kaum einsehbar und oft nicht verständlich ist, liefert eine „explainable artificial intelligence“, im Fachjargon zur AI auch XAI genannt, eine Erklärung ihrer Entscheidung mit. Der abgeschirmte maschinelle Lernprozess wird dadurch transparent.

„Es gibt unterschiedliche Möglichkeiten, zu einer erklärbaren KI zu kommen“, sagt Andreas Mielke, Managing Director bei Deloitte und Gründer des XAI-Start-ups Trufa. Im medizinischen Umfeld zum Beispiel könne eine KI, die darauf trainiert werde, auf Röntgenaufnahmen Auffälligkeiten zu erkennen, erweitert werden. Dafür müsse lediglich die Erklärung für den Befund in die Trainingsdaten mit aufgenommen werden.

Dieser Ansatz hat sich noch nicht in der Breite durchgesetzt. Mielke zufolge liegt das unter anderem an den Entwicklungskosten: „Standard-KI wurde bereits lange und intensiv erforscht, hier gibt es preisgünstige Standardsoftware“, sagt er. Zudem dauert die Entwicklung erklärbarer KI länger, weil diese auf eine saubere und besonders zeitintensive Datenauswahl angewiesen ist.

Was schief gehen kann, wenn Unternehmen oder Behörden auf erklärbare KI-Modelle verzichten, zeigt das Beispiel Darnell Gates. Der Algorithmus hatte ihn als Risikoperson eingestuft, ohne dass er davon wusste. Mehr noch: Niemand konnte ihm erklären, warum. Entworfen wurde das System von Richard Berk, Professor für Kriminologie und Statistik an der University of Pennsylvania. Der Forscher gab gegenüber „New York Times“ zwar zu, dass Laien Probleme haben könnten, den Algorithmus zu verstehen. Das treffe aber auf menschliche Entscheidungen zu. Auch das menschliche Gehirn sei letztlich eine Blackbox.

Richter in den Niederlanden sahen das anders. Nachdem bekannt wurde, dass die städtischen Behörden in Rotterdam ein KI-gesteuertes Vorhersage-Tool für potenzielle Sozialhilfebetrüger nutzten und dieses Menschen wie Bouchkhachakhe ins Visier nahm, untersagten sie den Einsatz. Begründung: Die Software sei intransparent und verstoße gegen die europäische Menschenrechtskonvention.

Vom Drohnenkrieg zur XAI

Schon jetzt diskriminieren Systeme mit KI Menschen wie Gates und Bouchkhachakhe. Doch was passiert, wenn autonome Waffen in Zukunft über Leben und Tod von Menschen entscheiden? Mit dieser Frage beschäftigt sich die US-Militärbehörde Darpa seit 2017. Mit ihrem XAI-Programm hat sie Bewegung in die Forschung zur erklärbaren KI gebracht hat. In Zeiten von Drohnenkriegen sucht die Behörde nach einem Weg, die Technologie im Krieg einsetzbar zu machen, zum Beispiel bei der Erfassung von möglichen Angriffszielen.

Es ist ein Extrembeispiel, da eine Künstliche Intelligenz eine existenzielle Entscheidung treffen könnte. Das Pentagon hat deswegen Ende Februar neue ethische Prinzipien definiert. Laut Jack Shanahan, Direktor des KI-Zentrums des US-Verteidigungsministeriums müsse sichergestellt werden, dass KI „rückverfolgbar“ und „kontrollierbar“ sei. Daran arbeitet die Darpa. Ziel des Programms ist es, eine KI zu entwickeln, die erklärbare Modelle verwendet, ohne dass ihre Leistungsfähigkeit sinkt. Außerdem sollen Menschen die Vertrauenswürdigkeit von Entscheidungen sowohl in Echtzeit als auch im Nachhinein verstehen können.

Seit dem Darpa-Programm hat sich in der Forschung viel getan. Immer mehr Unternehmen sehen einen Nutzen in erklärbaren KI-Modellen. Ulli Waltinger, der bei Siemens technischer Leiter des Labors für Künstliche Intelligenz ist, sieht dabei den Menschen als Bindeglied zwischen digitaler und physischer Welt. „In der Industrie trifft die IT immer öfter Entscheidungen, die Einfluss auf die OT nehmen“, sagt Waltinger – also etwa auf Produktionsmaschinen, im Fachjargon Operational Technology genannt. „Der Kunde sollte Teil des Entscheidungsprozesses sein und ihn nachvollziehen können.“

Waltingers Team hat beispielsweise eine Anwendung zur „Detektion von Anomalien“ entwickelt, die auf dem XAI-Ansatz beruht. Damit kann Siemens „anhand von gesammelten Daten vorhersehen, wann eine Maschine einen Fehler produzieren könnte und ist gleichzeitig in der Lage, zu erklären, warum ein Fehler wahrscheinlich ist“, sagt Waltinger dem Handelsblatt. Über eine grafische Oberfläche wird der Arbeiter über die Gründe informiert. Auf diese Weise wird er nicht von der Entscheidung der KI überrascht, wenn eine Maschine von ihr heruntergefahren wird, um einen möglichen Totalausfall zu verhindern.

„Es gibt drei Gründe, warum erklärbare KI für Unternehmen wichtig ist“, sagt deswegen Oxford-Professorin Wachter. „Erstens müssen Unternehmen die Algorithmen verstehen können, um die Kontrolle über die KI zu behalten und Fehler in den Datensätzen beheben zu können. Zweitens wollen Konsumenten wissen, was hinter den Algorithmen der Unternehmen steckt, um der Firma und deren Produkten vertrauen zu können. Und drittens muss die Gesellschaft als Ganzes verstehen können, wie eine KI eines Unternehmens, die Auswirkungen auf ihr Leben nimmt, funktioniert.“

Auch die Automobilbranche wird auf erklärbare KI angewiesen sein, wenn sie in Zukunft komplexere autonome Fahrfunktionen anbieten will. Verursachen Roboterautos Unfälle, müssen Polizisten, Gutachter und Juristen verstehen können, wie die KI zu Entscheidungen gekommen ist.

Dass das derzeit noch nicht der Fall ist, beweist das Beispiel eines Autozulieferers, der Softwarelösungen für Kamerasysteme von Fahrerassistenzsystemen entwickelt. Dabei hat das Unternehmen festgestellt, dass das System Entfernungen mithilfe eines Monokamerabildes besser einschätzen kann als der Mensch. Wie sie sich das beigebracht hat, können die Entwickler allerdings nicht erklären.

Der Autozulieferer Continental nutzt daher XAI-ähnliche Ansätze bei der Entwicklung von autonomen Systemen, sagt Corina Apachite, die bei dem Autozulieferer die KI-Abteilung leitet. „Wir haben zum Beispiel spezielle Verfahren und Tools entwickelt, die die Funktion einer KI nachvollziehbar machen“, sagt sie dem Handelsblatt. Wichtig sei dabei, die richtige Erklärung für die jeweilige Nutzergruppe liefern zu können. „Ein Ingenieur ist auf eine andere Erklärung angewiesen als beispielsweise ein Jurist. Jede Nutzergruppe benötigt eine eigene Erklärung“, sagt Apachite.

Sandra Wachter hat jedenfalls keinen Zweifel daran, dass sich erklärbare KI durchsetzen wird. Alle Akteure hätten ein großes Interesse daran: „Das Unternehmen will die KI verstehen, um sie zu verbessern, der Kunde, um der KI vertrauen zu können, und die Regulatoren, um Verstöße und mögliche Ungerechtigkeiten zu verhindern.“ Das hätte Fälle wie die von Darnell Gates und Mohamed Bouchkhachakhe vermutlich verhindert.

Mehr: Sebastian Thrun, Gründer des Google-X-Labors, warnt davor, die Chancen von KI durch übereilte Regulierung zu zerstören. Für ihn kommen strikte Regeln zu früh.