Tesla: Warum die KI-Expertin Missy Cummings „Elon Musks schlimmster Albtraum“ ist
New York. Missy Cummings nimmt kein Blatt vor den Mund. „Elon Musk unterschreibt offene Briefe, die davor warnen, dass KI uns alle umbringen kann. Aber die einzige tödliche KI, der Amerika aktuell ausgesetzt ist, steckt in seinen Teslas.“
Was Cummings meint, ist Teslas Autopilot-Technologie. Diese hat zu mehreren tödlichen Unfällen geführt, was dem Elektroautopionier Untersuchungen und Klagen eingebrockt hat. Tesla sagt, die Fahrer waren unaufmerksam. Cumming glaubt, dass Tesla die Fähigkeiten seines Systems aus Marketingzwecken zu rosig darstellt – und schleunigst umsteuern muss.
Ihr Wort hat Gewicht. Cummings ist Expertin für Künstliche Intelligenz (KI) und Fahrerassistenzsysteme. Als Professorin berät sie den US-Kongress, als Ex-Aufseherin bei der Straßenverkehrsbehörde NHTSA kennt sie die Macht der Regierung genau. Dabei kritisiert sie das Vorgehen mehrerer großer Akteure, etwa des Robotaxi-Anbieters Waymo von Google und des Konkurrenten Cruise von General Motors (GM).
Besonders lautstark warnt sie allerdings vor Tesla und Firmenchef Elon Musk. Mit Folgen: Cummings persönlich geriet ins Visier von Musk. Umgekehrt nehmen die Aufseher Tesla zunehmend kritischer unter die Lupe; erst im Dezember musste der Autobauer die Fahrerassistenzsysteme bei zwei Millionen Autos nachbessern. Für das US-Magazin „Business Insider“ ist Cummings derzeit „Elon Musks schlimmster Albtraum“.
KI mit schlimmstenfalls tödlichen Aussetzern
Das Grundproblem: Autopilot-Systeme hätten immer noch viel zu viele Aussetzer, um sie ohne Aufsicht und Beschränkungen auf die Straßen zu lassen, sagt Cummings im Gespräch mit dem Handelsblatt. „Wir brauchen viel mehr Forschung zu den Grenzfällen der Technik“, in denen die KI mit gravierenden Folgen versage. Cummings vergleicht diese mit den sogenannten Halluzinationen, den Fehlern von Textrobotern wie ChatGPT, bei denen diese ohne erkennbaren Grund Falschinformationen ausspucken.
Beispiel Phantombremsungen, also plötzliche, gefährliche Bremsvorgänge, wie sie immer wieder bei Teslas auftreten: „Neuronale Netze sehen Objekte auf der Straße, die nicht existieren. Wir wissen oft nicht, was genau die Systeme gesehen und wie sie es interpretiert haben. Das ist ein Riesenproblem.“ Manche Systeme hielten etwa simple Schatten auf der Straße für ein Hindernis. Die Folge seien schwere Auffahrunfälle.
Und nicht nur Tesla sei betroffen, erklärt die 57-Jährige. Einer ihrer Doktoranden arbeite daran, die Datenqualität zu verbessern. Andere versuchen, die KI darauf zu trainieren, Phantomobjekte besser herauszufiltern. „Aber ausgereift ist das alles nicht“, sagt sie. Die Konsequenz: „Es gibt keine wirklich selbstfahrenden Autos. Und da Systemfehler tödlich enden können, bedarf es noch für viele Jahre der menschlichen Überwachung.“
Zusammenspiel menschlicher und Künstlicher Intelligenz
Den Faktor Mensch kennt Cummings gut. Sie war eine der ersten Kampfpilotinnen der US Navy, steuerte „F/A-18 Hornet“-Kampfjets. Seitdem weiß sie, wie wichtig ein gutes Zusammenspiel menschlicher und Künstlicher Intelligenz ist. Schließlich müssten Kampfpiloten in Bruchteilen von Sekunden Entscheidungen über Leben und Tod treffen, sagt Cummings. „Ich habe keine Angst vor einem guten Kampf.“
Unter US-Präsident Joe Biden wurde Cummings 2021 Senior-Beraterin für Sicherheit der NHTSA – also einer Behörde, die als lax im Umgang mit Tesla und anderen Anbietern galt. Zuvor hatte sie als Leiterin des „Menschen und Autonomie“-Labors der Duke University autonome Fahrsysteme untersucht. Ein Ergebnis ihrer Forschung: Teslas System habe „oft unsichere Verhaltensweisen“.
Die Reaktion auf Cummings Ernennung kam prompt: Musk twitterte, Cummings sei „objektiv extrem voreingenommen gegen Tesla“, ohne diese Behauptung zu belegen. Cummings erhielt unzählige wüste Beschimpfungen bis hin zu Morddrohungen. 28.000 Tesla-Fans riefen in einer Petition dazu auf, ihre Ernennung auf „Interessenkonflikte und Voreingenommenheit“ zu überprüfen. Auf ein Angebot Cummings, sich mit ihr zu treffen, reagierte Musk nicht.
Zwar verteidigte Verkehrsminister Pete Buttigieg Cummings‘ Ernennung. Auch kritisierte der Nationale Verkehrssicherheitsrat (NTSB) Musks „bewussten Versuch, von Sicherheitsfragen zur Technologie des Autoherstellers abzulenken.“ Dennoch knickte die NHTSA ein – und verdonnerte Cummings dazu, sich nicht mehr mit Tesla zu beschäftigen.
>> Lesen Sie außerdem: Anleger verklagen Musk und Tesla wegen angeblicher Unwahrheiten über Autopiloten
Cummings verließ die Behörde nach einem guten Jahr im Januar 2023, um eine neue Stelle an der George-Mason-Universität in Virginia anzutreten. Dort weitete sie ihre Forschung auf Robotaxi-Anbieter wie Cruise und Waymo aus. „15 Monate bei NHTSA waren genug. Ich möchte Dinge verändern“, sagt sie heute.
Phil Koopman von der Carnegie-Mellon-Universität in Pittsburgh sagt: „Missy ist eine der wichtigsten Stimmen für die Sicherheit von automatisiertem und autonomem Fahren. Sie bleibt immer sachlich, weist auf Probleme hin, unabhängig davon, um welchen Anbieter es sich handelt.“ Als Akademikerin könne sie mehr erreichen als als Aufseherin, glaubt Koopman. „Die Tatsache, dass Tesla so viele Ressourcen darauf verwendet hat, Missy anzugreifen, zeigt, wie viel Angst sie vor ihr haben.“
Waymo und Cruise: Kluge Regulierung gefordert
Dass Cummings‘ Warnungen vor vorschnellen Experimenten auf der Straße berechtigt waren, zeigte sich im Sommer 2023. Waymo und Cruise starteten ihre Robotaxi-Dienste ohne Sicherheitsfahrer in San Francisco. Schon im Oktober musste die Stadt die Notbremse ziehen, nachdem Cruise-Autos mehrere Unfälle verursacht hatten. Cummings‘ jüngste Studie kommt zum Ergebnis, dass Robotaxis vier- bis achtmal so häufig in einen Unfall verwickelt werden wie von Menschen gesteuerte Autos.
„Wir brauchen bessere staatliche Vorschriften für die Zulassung“, fordert sie. Dabei lohne auch ein Blick über den Tellerrand: So müssten etwa in der EU Anbieter ein Genehmigungsverfahren durchlaufen, bevor ihre Technologie auf die Straße kommen dürfe. Amerika setze dagegen auf Selbstzertifizierung – die Regulierung greife erst, wenn es bereits zu schweren Unfällen gekommen sei. „Das ist ein Wahnsinn. Es darf keine Beta-Tests auf öffentlichen Straßen geben. Amerika führt bei der Technologie, Europa bei der Regulierung.“
>> Lesen Sie außerdem: GM stoppt Betrieb mit autonomen Taxis – Behörden ermitteln
Dass derlei Rufe nach mehr Aufsicht für ihre – meist männlichen – Kritiker ein rotes Tuch sind, beeindruckt die Expertin für KI-Fahrsysteme nicht. „Mansplaining erfahre ich immer noch jeden Tag. Das ist frustrierend. Aber ich versuche, das Leben von Menschen zu retten, nicht, Geld zu verdienen.“
Auch ihr schärfster Kritiker werde schon bald umdenken müssen, hofft Cummings: „Musk hat bei den Möglichkeiten der Technik übertrieben, das hat Menschenleben gekostet. Und wenn die Regulierung nicht einschreitet, kann sie in Zukunft noch mehr Leben gefährden.“
Dass Tesla-Autos zu Robotaxis werden, wie sie Musk seinen Käufern seit Jahren verspricht, ist für Cummings kein realistisches Szenario. „Die Tesla-Fangemeinde wird mich dafür hassen. Aber ich sage ihnen: Sie haben 12.000 Dollar verschwendet“, erklärt Cummings mit Bezug auf den Kaufpreis des „FSD“ genannten erweiterten Autopilot-Pakets. Und auch die Konkurrenz von Mercedes-Benz oder BMW, die auf zusätzliche Sensoren setzt, sei noch lange nicht am Ziel. „Es ist offen, ob wir mit dem Einsatz von Radar und Lidar vollständig autonomes Fahren erreichen können.“
Was dürfte dann das erste breite Einsatzfeld der Technik sein? Kleine unbemannte Fahrzeuge, die sich langsam im Stadtverkehr bewegen, etwa bei der Lieferung auf der letzten Meile, hätten eine Chance, glaubt Cummings. Und Robotaxis? „In diesem Jahrzehnt sicher nicht.“
Erstpublikation: 24.01.2024, 04:09 Uhr.