Aleph Alpha: Diese Firma will KI bis zu 400 Prozent leistungsfähiger machen
Düsseldorf. Die Heidelberger Firma Aleph Alpha hat in Davos eine Innovation vorgestellt, die Anwendungen mit Künstlicher Intelligenz (KI) in Unternehmen deutlich verbessern könnte. Eine neue KI-Architektur soll genauere Ergebnisse liefern und dabei deutlich weniger Rechenleistung verbrauchen. Das versetzt Unternehmen und Behörden laut Unternehmenschef Jonas Andrulis in die Lage, „Sprachmodelle mit eigenem Wissen zu bauen und zu betreiben“.
Leistungssprünge werden dabei vor allem bei nicht englischsprachigen Anwendungen möglich. Das hat Aleph Alpha in Tests mit dem US-Chipkonzern AMD und dessen finnischer Tochterfirma SiloAI nachgewiesen.
Die Ankündigung fällt in eine Phase der KI-Entwicklung, in der Unternehmen große Anstrengungen betreiben, um Fortschritte bei Sprachmodellen in eigene Anwendungen zu überführen. Dazu müssen sie Probleme wie „Halluzinationen“ ausmerzen. Gemeint ist damit das Phänomen, dass textgenerierende Systeme wie der Chatbot ChatGPT fehlerhafte Aussagen produzieren.
Eine weitere Herausforderung ist der hohe Energiebedarf von generativer KI. Er führt einerseits dazu, dass Technologiekonzerne eine milliardenschwere Infrastruktur mit Gigawatt-Rechenzentren und sogar speziellen Kraftwerken errichten müssen. Andererseits sind viele Anwendungen in der Praxis auch aufgrund der Energiekosten noch gar nicht wirtschaftlich.
„In Start-ups, Laboren und Universitäten auf der ganzen Welt arbeiten Menschen daran, Maschinen mit Intelligenz zu entwickeln, die effizienter, effektiver und zuverlässiger sind. Dies ist ein Beispiel dafür“, sagt AMDs Geschäftsbereichsleiter für weltweite KI-Märkte, Keith Strier.
Wer nicht Englisch spricht, braucht mehr Energie
Die leistungsstärksten KI-Modelle am Markt kommen bisher von US-Technologieunternehmen wie dem ChatGPT-Entwickler OpenAI, Google und dem Facebook-Konzern Meta. Ihre Performance ist am besten, wenn Spracheingaben und -ausgaben auf Englisch formuliert werden und sie etwa zum Durchsuchen englischsprachiger Dokumente genutzt werden. Vor allem im Umgang mit Sprachen, für die es wenig Lernmaterial gibt, sind die Ergebnisse von KI-Modellen schwächer. Das liegt an ihrer Bauweise.
Heutige Modelle beruhen auf der sogenannten Transformer-Architektur, zu der normalerweise ein Tokenizer gehört. Tokenizer erkennen Sprachmuster. Sie lernen die Verarbeitung von Sprache, indem sie große Textmengen analysieren, sie in einzelne Bausteine zerlegen und in einer Art Wörterbuch speichern.
Das Wörterbuch hinter Metas Llama enthält beispielsweise 128.000 Token, die man sich wie Vokabeln vorstellen kann. Sie bestehen aus Kombinationen von Buchstaben, Zahlen, Leer- und Satzzeichen.
Weil das Trainingsmaterial vor allem englischsprachige Texte enthält, lassen sich aus den Llama-Vokabeln leicht englische Sätze formulieren. Jonas Andrulis sagt: „Im Schnitt braucht man 1,2 Token, um englische Begriffe darzustellen.“ Im Deutschen liege dieser Wert bei 1,8. Und Deutsch und Englisch sind sich noch relativ ähnlich.
Zwar ist es möglich, Transformer anschließend für Sprachen weiterzutrainieren, die sich aus völlig anderen Silben zusammensetzen. Trotzdem ist dann im Hintergrund deutlich mehr Puzzle-Arbeit und damit mehr Rechenleistung und Energie nötig. Im schlimmsten Fall verlernt das Modell wichtige Dinge aus dem Vortraining.
Aleph Alphas T-Free-Ansatz soll das ändern. Und er könnte dem kleinen Unternehmen helfen, mit seinem als schwächer geltenden KI-Modell Pharia für bestimmte Anwendungen wettbewerbsfähig zu werden.
Was das Aleph-Alpha-Modell anders macht
T-Free steht für „Tokenizer-frei“. Unter dem Motto versuchen Forscher bei Aleph Alpha schon seit Monaten, den Tokenizer loszuwerden. In einem ersten Projekt hatte ein Team vorgeschlagen, statt mit einem Wörterbuch mit einem sogenannten Trigramm zu arbeiten. Dabei verarbeitet die KI fortlaufend Gruppen aus drei nebeneinander liegenden Zeichen (Das Wort „Beispiel“ sieht dann so aus: BEI-EIS-ISP-SPI-PIE-IEL).
Daraus hat die Firma gelernt und geht mit einem anderen Forschungsansatz jetzt noch einen Schritt weiter: Texte werden zur Verarbeitung von der KI in einzelne Zeichen zerlegt. So reduziert sich das Wörterbuch mit 128.000 Zeichenkombinationen auf ein Register mit 256 Zeichen. Eine unabhängige Bewertung durch ein Begutachtungsverfahren (Peer-Review) steht noch aus.
„Dieser Ansatz ermöglicht es, ein Modell, das für eine bestimmte Sprache trainiert wurde, an eine andere Sprache anzupassen“, sagt SiloAI-Chef Peter Sarlin. Seine Firma, die im Sommer von AMD übernommen wurde, hat sich früh auf Sprachen mit wenigen Trainingsdaten spezialisiert und KI-Modelle für nordische Sprachen veröffentlicht. Gemeinsam mit Aleph Alpha hat sein Team den T-Free-Ansatz für die Verwendung von AMD-Chips optimiert.
Das Ergebnis: Wer das Aleph-Alpha-Modell auf dem AMD-Chip MI3000X nutzt, braucht deutlich weniger Energie als das Meta-Modell auf dem Chip vom Marktführer Nvidia: „Wir erreichen eine bis zu 400-prozentige Leistungssteigerung im Vergleich zu Llama auf H100“, sagt Sarlin. Der Spitzenwert wurde bei einem Test mit Finnisch gemessen, bei Englisch ist demnach eine Leistungssteigerung von 150 Prozent möglich.
Dazu trage auch die Speicherkapazität von AMDs neuestem Chip bei. Das KI-Modell allein soll bis zu 70 Prozent Performance-Verbesserung ermöglichen.
Wie Unternehmen und Behörden von dem neuen Ansatz profitieren können
Das gemeinsame Angebot von AMD und Aleph Alpha dürfte für Kunden auch deshalb attraktiv sein, weil für unternehmens- und branchenspezifische Begriffe das Gleiche gilt wie für Fremdsprachen: Sie enthalten ungewöhnliche Zeichenkombinationen.
Unternehmen stellt das bisweilen vor schwierige Abwägungen. Die Entscheidung, ob ein Unternehmen ein KI-Modell weitertrainiert oder von Grund auf selbst entwickelt, sei heute „mehr Kunst als Wissenschaft“, sagt Sarlin. Flexible Ansätze wie T-Free seien deshalb „extrem wertvoll“.
In einem Markt, der von wenigen großen Technologiefirmen dominiert wird, wirbt AMD genau wie Aleph Alpha mit dem Versprechen von mehr Unabhängigkeit um Kunden. Marktführer Nvidia hält derzeit etwa 80 Prozent des Marktanteils für KI-Chips.
„Es birgt ein großes Risiko, wenn die gesamte KI der Welt von einer einzigen Rechenplattform abhängt oder in einer einzigen Cloud gehostet wird“, sagt Manager Keith Strier. Sicherheit und Resilienz erforderten den Einsatz verschiedener Chips in mehreren Clouds, die unterschiedliche Modelle ausführten.
Strier sieht das neue Angebot von AMD und Aleph Alpha als Teil einer größeren Entwicklung, die zu einer Differenzierung führt und eine Individualisierung von KI-Lösungen ermöglicht.
Im nächsten Schritt wollen die Partner nun an Pilotkunden herantreten. Ob die Performance-Steigerungen dort eins zu eins beobachtbar sind, muss sich zeigen. Peter Sarlin weist darauf hin, dass souveräne KI-Anwendungen auf die spezifische Umgebung im Einzelfall zugeschnitten werden müssen. „Wie allgemein bekannt, ist KI keine verallgemeinerbare Lösung von der Stange.“
Erstpublikation: 21.01.2025, 16:43 Uhr