Maßgeschneiderte generative KI nutzen mit Small Language Models

small language models

08.10.2024
Irina Brüning

Künstliche Intelligenz kann den Menschen bei vielfältigen Aufgaben unterstützen. Da die Mechanismen hinter namhaften Lösungen für den Laien wenig transparent sind, birgt der scheinbare Alleskönner jedoch auch vielfältige Risiken. Small Language Models bieten Unternehmen genau die Funktionen, die sie benötigen.

Im unendlichen Datenmeer

Im November 2022 machte OpenAI sein Modell ChatGPT öffentlich zugänglich und sorgte auf diese Weise dafür, dass das Thema „generative KI“ plötzlich in aller Munde war. Firmen wie Privatpersonen probierten diverse Anwendungsmöglichkeiten aus und waren verblüfft von den überzeugend wirkenden Ergebnissen. Wie das, was fast wie Magie wirkte, eigentlich funktionierte, verstanden viele Nutzer dabei nicht.

Bei ChatGPT handelt es sich ebenso wie bei Copilot und Gemini um sogenannte Large Language Models (zu Deutsch „große Sprachmodelle“, abgekürzt LLMs). Diese werden mit großen Mengen an Textdaten trainiert, um passende Antworten auf Anfragen geben zu können. LLMs stellen eine deutliche Weiterentwicklung des Natural Language Processing (zu Deutsch „natürliche Sprachverarbeitung“, abgekürzt NLP) dar. Dieser Begriff bezeichnet den Prozess der Analyse von menschlicher Sprache durch das Herstellen von Beziehungen zwischen Wörtern und das Verstehen ihrer Bedeutung. Dabei kommen künstliche neuronale Netze zum Einsatz, die dem menschlichen Gehirn nachempfunden sind. „Deep Learning“ bezeichnet die Nutzung von besonders tiefen Netzstrukturen.

Anwender greifen für unterschiedliche Zwecke auf ein LLM zurück. Dazu zählen die Generierung von Texten beispielsweise für Social-Media-Posts, die Übersetzung von fremdsprachigem Material und die Zusammenfassung von längeren Texten. Im Bildungsbereich kann generative KI dazu dienen, Simulationen zu erstellen oder Tutoringsysteme zu entwickeln, die sich an die Bedürfnisse der Lernenden anpassen. Für Unternehmen ist die Technologie vor allem in Form von Chatbots oder virtueller Assistenz interessant, da sie mit diesen Hilfsmitteln ihren Arbeitsalltag effizienter gestalten können.

Warum Small Language Models oft die bessere Alternative sind

Grob skizziert verfügen künstliche neuronale Netze über mehrere Schichten: eine Eingabeschicht, eine Ausgabeschicht und mindestens eine verborgene Schicht dazwischen. Was dort geschieht, ist für niemanden wirklich greifbar. Large Language Models arbeiten anhand von Wahrscheinlichkeiten und besitzen kein Urteilsvermögen. Sogenannte „Halluzinationen“ der KI machen immer wieder Schlagzeilen; das Cambridge Dictionary kürte das Verb „hallucinate“ 2023 zum Wort des Jahres. Häufig fügen LLMs Informationen hinzu, die sie für passend erachten, oder sie geben eine plausibel wirkende Antwort, statt zuzugeben, dass sie zu einem bestimmten Thema auf keine Informationen zugreifen können. Und: Nicht alle online verfügbaren Inhalte, mit denen ein LLM trainiert wird, sind hochwertig, was sich natürlich auf den Output auswirkt.

Ebenfalls zu bedenken sind (menschen-)rechtliche und ökologische Aspekte. Die Rechenzentren von LLMs verbrauchen riesige Mengen an Energie sowie an Wasser zur Kühlung. Häufig sitzen die Personen, die für das Training mit Daten zuständig sind, in Billiglohnländern, arbeiten viele Stunden am Tag und werden mit verstörenden Inhalten konfrontiert. Hinzu kommt, dass Urheber der für das Training verwendeten Texte und Bilder dieser Verwendung in der Regel nicht zugestimmt haben und keine Vergütung erhalten.

Vieles spricht dafür, eine Nummer kleiner zu denken. Für private Spielereien mag es reizvoll sein, auf das Wissen des gesamten Internets zugreifen zu können; Unternehmen benötigen lediglich (gutes) Material aus ihrem Tätigkeitsbereich. Kleine Datenmengen haben außerdem den Vorteil der leichteren Kontrollierbarkeit, da sich einzelne Datenpunkte zu ihrer Quelle zurückverfolgen lassen. Small Language Models benötigen weniger Zeit für das Training und weniger Energie. Auch die Einhaltung von Datenschutz- und sonstigen Sicherheitsvorschriften wird bei Nutzung von SLMs deutlich erleichtert.

Generative Sprachmodelle von VAGO: flexibel skalierbar und immer auf dem neuesten Stand

Das Management von Sprachmodellen sollte sich an die unternehmerischen Ziele anpassen – dieser Ansicht sind die Informatiker und Wirtschaftsinformatiker, die hinter der VAGO Solutions GbR stehen. Kunden der Firma können von den entscheidenden Stärken existierender LLMs profitieren und sie abhängig vom eigenen Bedarf miteinander kombinieren. Hierfür existiert ein Konfigurator. Das Prinzip „So groß wie nötig, so klein wie möglich“ reduziert den Ressourcenbedarf und die Trainingskosten – letztere um bis zu 60 Prozent. Von der Generierung der Trainingsdaten und der domänenspezifischen Modellabstimmung über die Inbetriebnahme bis zur kontinuierlichen Wartung, begleitet der Full Service den gesamten Lebenszyklus von Sprachmodellen im Unternehmen. Mit seinen Techniken und Vorgehensweisen ist VAGO international führend.

Dabei umfasst die KI-Expertise von VAGO mehr als nur das Textverständnis von LLM oder die Extraktion von Wissen aus Datenbanken. VAGO ist unter anderem darauf spezialisiert, kleinen Sprachmodellen das präzise Ausführen von Funktionen (sogenannte Function Calls) innerhalb der Unternehmenssysteme anzutrainieren, beispielsweise das automatisierte Ausfüllen von ERP-Masken oder das Aktivieren von Systemfunktionen, dialogbasiert über Prompts.
Die LLM-Ansätze von VAGO sind immer auf dem neusten internationalen Stand und verschaffen Unternehmen durch ihre prozessorientierte Ausrichtung und leistungsstarken, skalierbaren Architekturen entscheidende Wettbewerbsvorteile.
Zu technischen Voraussetzungen, KI-Strategien und weiteren Themen bieten die Experten auch eine professionelle Beratung an. Auch Schulungen und Workshops von den ersten Schritten bis hin zu einem tieferen Verständnis gehören zum Portfolio.