Benachrichtigung aktivieren Dürfen wir Sie in Ihrem Browser über die wichtigsten Nachrichten des Handelsblatts informieren? Sie erhalten 2-5 Meldungen pro Tag.
Fast geschafft Erlauben Sie handelsblatt.com Ihnen Benachrichtigungen zu schicken. Dies können Sie in der Meldung Ihres Browsers bestätigen.
Benachrichtigungen erfolgreich aktiviert Wir halten Sie ab sofort über die wichtigsten Nachrichten des Handelsblatts auf dem Laufenden. Sie erhalten 2-5 Meldungen pro Tag.
Jetzt Aktivieren
Nein, danke
Digitale Revolution

Digitale Revolution Dieses Sprachprogramm verblüfft Experten – und birgt Potenzial für die Wirtschaft

Die KI-Software GPT-3 schreibt Texte auf erstaunlich hohem Niveau – obwohl sie die Inhalte nicht versteht. Die Anwendungsmöglichkeiten sind vielfältig.
25.08.2020 - 17:36 Uhr Kommentieren
Hinter GPT-3 steckt kein Textverständnis, sondern Wahrscheinlichkeitsrechnung.
Spracherkennung

Hinter GPT-3 steckt kein Textverständnis, sondern Wahrscheinlichkeitsrechnung.

Düsseldorf Wird Künstliche Intelligenz eines Tages die menschliche Kreativität überflügeln? Schon jetzt schaffen Algorithmen Gemälde und Musik, wenn auch nach menschlichen Vorlagen. Nun gibt es mit GPT-3 ein Programm, das Texte schreibt, wie man es bislang nur von Menschen kennt: witzige Tweets, philosophische Erörterungen oder ein Drehbuch im Stil von Raymond Chandler. Seit erste Forscher und Programmierer das Sprachmodell testen können, überschlagen sie sich vor Begeisterung.

„Es gibt einen Hype, auch in der Community“, beobachtet Hans Uszkoreit, wissenschaftlicher Direktor am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI). Das System sei tatsächlich zu erstaunlichen Dingen in der Lage. „Die allerbesten Verfahren, die es derzeit gibt, die Größe des Modells plus die Menge der Daten ergeben das Wunder“, sagt der Spezialist für Sprachtechnologie, der das „Language Technology Lab“ des Berliner Zentrums leitet.

Allerdings warnt er vor zu hohen Erwartungen: „GPT-3 kann nur Sachen zusammenschustern, die es in Teilen vorher gelesen hat – und es weiß nicht, was sie bedeuten“, sagt Uszkoreit. Trotzdem sieht er großes Potenzial, auch für die Wirtschaft – so kann das neue Modell im Zusammenspiel mit anderen Technologien dafür sorgen, dass Chatbots ihre Gesprächspartner besser verstehen oder Software Dokumente klug zusammenfasst.

Das Prinzip von GPT-3 klingt einfach: Der Anwender gibt in ein Textfeld Dinge ein, das Programm ergänzt. So eine Autovervollständigung gibt es auf dem Smartphone oder in Suchmaschinen schon längst. Bei GPT-3 geschieht das jedoch auf einem Niveau, das man bei Maschinen bislang für undenkbar hielt. Ein Nutzer gab zum Beispiel die Anweisung, ein Drehbuch für einen „Film noir“ zu schreiben. Heraus kam eine Szene in einem schmuddeligen Detektivbüro mit abgenutzten Möbeln, wo eine kaputte Jalousie im Wind rattert. Auch Gebrauchsanleitungen, Gedichte oder Tweets haben Tester veröffentlicht.

Top-Jobs des Tages

Jetzt die besten Jobs finden und
per E-Mail benachrichtigt werden.

Standort erkennen

    Das Prinzip lässt sich zudem auf andere Bereiche übertragen. Ein Programmierer hat eine Demo entwickelt, der man vorschreibt, wie ein bestimmtes Layout aussehen soll – das kann eine Website mit roten Knöpfen von eins bis fünf sein, aber auch eine Tabelle mit den reichsten Ländern der Welt. Das funktioniert tatsächlich. Auch Rechenaufgaben kann das Programm lösen.

    Allerdings seien die beispielhaft veröffentlichten Geniestreiche nicht repräsentativ für das Leistungsvermögen des Systems, betont Uszkoreit: „Da werden die schönsten Sachen rausgesucht – man sieht nicht, wie oft es danebenliegt.“

    Das Programm hat das Unternehmen Open AI entwickelt. Dahinter steckt eine illustre Runde aus der US-Technologieszene: Chef ist Sam Altman, der früher den bekannten Inkubator Y Combinator geleitet hat. Zu den Geldgebern zählen prominente Köpfe aus dem Silicon Valley wie Elon Musk, Peter Thiel und Reid Hoffman. Zudem hat Microsoft eine Milliarde Dollar investiert.

    Hinter dem Programm steckt indes kein Textverständnis, sondern Wahrscheinlichkeitsrechnung. Denn GPT-3 ist ein Sprachmodell, das mit statistischen Methoden auf der Basis von riesigen Textmengen errechnet, welches Wort als nächstes folgen könnte. Was das neue Programm besonders macht, sind einerseits die innovativen Methoden, andererseits die Dimensionen: Die Entwickler haben 570 Gigabyte Text benutzt, um das Modell zu trainieren – Wikipedia, digitalisierte Bücher und Zeitschriften, Texte aus dem Internet. Die Menge entspricht dem 380.000-fachen Umfang der Bibel. GPT-3 hat also Zugriff auf eine große Menge Weltwissen. 

    Außerdem ist das neuronale Netz hundert Mal größer als bei der Vorgängerversion. Das System könne daher auch – anders als die Autovervollständigung auf dem Smartphone – ganze Sätze und Absätze berücksichtigen, sagt Wissenschaftler Uszkoreit. Das ist die Voraussetzung dafür, dass komplette Texte entstehen.

    Lernen mit Lückentext

    Um GPT-3 zu trainieren, haben die Entwickler einen Trick verwendet: Sie haben dem Programm viele Texte gezeigt, in denen Wörter oder Wortgruppen fehlten – es sollte lernen, die Lücken zu füllen, und zwar so, dass es in den Kontext passt. Eine Gebrauchsanleitung klingt anders als ein Gedicht. GPT-3 kann besser als jemals zuvor automatisch Texte ergänzen, Lücken füllen und Fragen beantworten. Das trägt zum Hype bei.

    Bei genauerem Hinsehen zeigen sich allerdings Schwächen. Das System hangele sich mit Wahrscheinlichkeitsrechnung von einem Satz zum nächsten, eigene Schlussfolgerungen ziehe es nicht, sagt Uszkoreit. Das zeigen Tests, die US-Kollegen des Wissenschaftlers gemacht haben. Wenn Textaufgaben echtes Verstehen und Schlussfolgern erfordern, rät das statistische Modell nur wenig besser als ein Zufallsgenerator. „Je länger ein so produzierter Text ist, desto mehr entwickelt er sich vom eigentlichen Thema weg.“

    GPT-3 klingt also schlau, ist es aber nicht. „Das System ist wie ein altkluges Kind, das viel gelesen hat und die Erwachsenen mit einigen schlauen Sätzen verblüfft“, sagt Uszkoreit. Mit angelesenem Halbwissen und gut gewählten Worten täusche es ein Verständnis der Welt vor. „Das ist Nachplappern auf allerhöchstem Niveau.“

    Das bedeutet auch: GPT-3 kann keine Gedanken hinterfragen. Damit ist das System anfällig für Vorurteile, die in den Daten enthalten sind. Das zeigt sich etwa in einem „Tweet Generator“, der aus einzelnen Wörtern kurze Beiträge für Twitter verfasst. „Juden lieben Geld, zumindest meistens“, spuckte der beispielsweise aus, wie Jerome Pesenti, Chef der KI-Entwicklung bei Face‧book, kritisierte. Das System sei „wegen schädlicher Vorurteile unsicher“. Auf welche Quellen das Ressentiment zurückgeht, ist unklar.

    Auch eine „Philosopher AI“, die auf Kommando kluge Gedanken zu den verschiedensten Themen entwickeln soll, gab teils bedenkliche Äußerungen von sich. So schrieb sie, dass Demokratie zwar besser sei als Diktatur, weil sie bessere Ergebnisse für die Bevölkerung insgesamt erziele – aber auch, dass die Diktatur in Krisenzeiten überlegen sei und daher wohl die Mehrheit eine Mischform der beiden Herrschaftstypen akzeptieren würde. Entscheidungen von großer Tragweite möchte man dem System nicht überlassen.

    Große Verbesserungen für Chatbots

    Trotz dieser Schwächen könnten Systeme wie GPT-3 große Verbesserungen ermöglichen. So vereinfacht die Technologie es enorm, neue Anwendungen mit Künstlicher Intelligenz zu entwickeln: Schon wenige Beispiele reichen, um ein neues Modell zu trainieren, das beispielsweise aus Fußballergebnissen Texte schreibt – bislang ist das ein aufwendiger und langwieriger Prozess. „Few shot learning“ nennen Experten dieses Prinzip. „Das ist ein ganz großer Fortschritt gegenüber allem, was wir bisher hatten“, sagt Uszkoreit. 

    Auch die Kommunikation zwischen Mensch und Maschine könnte profitieren, zum Beispiel bei Chatbots: Solche Dialogsysteme, die beispielsweise im Kundenservice automatisch Antworten geben sollen, stoßen heute schnell an die Grenzen des Verständnisses. GPT-3 könne die Kommunikation verbessern, sagt Uszkoreit – allerdings nur in Verbindung mit Datenbanken für Produkte oder Reparaturanleitungen: „Viel Wissen, das wir in Texten so nicht finden können, ist in Datenbanken, also in Tabellenform, abgelegt.“ Der Spezialist selbst arbeitet daran, diese beiden Technologien zusammenzubringen.

    Auch in der Wirtschaft sind die Erwartungen groß. „Für mich ist GPT-3 eine kleine Revolution“, sagt Jörg Bienert, Vorsitzender des KI-Bundesverbands und Partner bei der Beratung Alexander Thamm, die sein Start-up Aiso-Lab übernommen hat. Das System biete „enormes wirtschaftliches Potenzial“. So sei es nun möglich, Modelle mit Künstlicher Intelligenz mit weniger Daten zu trainieren als bislang. Das beschleunige die Entwicklung von Anwendungen.

    Besonders bei der Verarbeitung von Texten sieht der Manager großes Potenzial – beispielsweise bei der Analyse von Patenten oder Archivdaten, aber auch bei Chatbots. Schon jetzt gibt es Unternehmen, die sich auf die Analyse von Patentportfolios, Verträgen oder Rechnungen mithilfe von Algorithmen spezialisiert haben – ihre Arbeit könnte sich erleichtern.

    Allerdings befürchtet der Verbandschef eine Abhängigkeit: Open AI sollte ursprünglich ein gemeinnütziges Projekt sein, das die Technologie erforscht und öffentlich zugänglich macht. Seit 2019 gibt es aber ein gewinnorientiertes Tochterunternehmen, das die Technologie vermarktet. So auch im Fall von GPT-3: Der Quellcode liegt nicht offen, Zugriff auf das System haben bislang nur einige Partner über eine Schnittstelle.

    Das Unternehmen kontrolliere, wer Zugriff auf die Technologie erhalte, warnt Bienert – und es lasse sich offenbar die Anwendungsfälle von Nutzern genau darlegen. „Open AI kann das Wissen nutzen, um das eigene System mit den Daten der Kunden immer schlauer zu machen.“ Das Forschungslabor versichert, dass Kunden das Eigentum an ihren Daten behalten und entscheiden, ob diese für Trainingszwecke genutzt werden.

    Bienert fürchtet ein Monopol und regt an, dass die Politik die Entwicklung einer vergleichbaren, offen verfügbaren Technologie in Deutschland oder Europa fördert. „Dafür braucht es eine riesige Datenmenge, das kann ein Unternehmen allein nicht stemmen“, sagt er. „Deswegen wäre es wichtig, dass sich Deutsche und Europäer in einer relativ frühen Phase zusammentun.“

    Mehr: Wenn Kollege Roboter übernimmt: Wie die Digitalisierung die Gewerkschaften herausfordert

    Startseite
    Mehr zu: Digitale Revolution - Dieses Sprachprogramm verblüfft Experten – und birgt Potenzial für die Wirtschaft
    0 Kommentare zu "Digitale Revolution: Dieses Sprachprogramm verblüfft Experten – und birgt Potenzial für die Wirtschaft"

    Das Kommentieren dieses Artikels wurde deaktiviert.

    Zur Startseite
    -0%1%2%3%4%5%6%7%8%9%10%11%12%13%14%15%16%17%18%19%20%21%22%23%24%25%26%27%28%29%30%31%32%33%34%35%36%37%38%39%40%41%42%43%44%45%46%47%48%49%50%51%52%53%54%55%56%57%58%59%60%61%62%63%64%65%66%67%68%69%70%71%72%73%74%75%76%77%78%79%80%81%82%83%84%85%86%87%88%89%90%91%92%93%94%95%96%97%98%99%100%