WissenKI-Begriffe für Solos
Sprachmodell einfach erklärt, was hinter dem Begriff LLM wirklich steckt
LLM steht überall, aber die wenigsten Erklärungen sagen, was ein Sprachmodell tatsächlich tut, wenn es antwortet. Wie ein Sprachmodell aus riesigen Textmengen lernt, das nächste wahrscheinliche Wortstück vorherzusagen.
Dein Handy schlägt dir beim Tippen das nächste Wort vor, weil es aus deinem bisherigen Nachrichtenverlauf gelernt hat, was du wahrscheinlich als Nächstes schreibst. Ein Sprachmodell, LLM für Large Language Model, macht im Grunde dasselbe, nur trainiert auf einem gewaltigen Teil des geschriebenen Internets statt auf deinem eigenen Chatverlauf, und um ein Vielfaches mächtiger.
Kurz gesagt
Ein Sprachmodell, kurz LLM, ist ein KI-System, das darauf trainiert wurde, aus riesigen Textmengen zu lernen, welches Wortstück als Nächstes am wahrscheinlichsten folgt. Aus dieser einen Fähigkeit, konsequent immer wieder angewendet, entstehen Antworten, Zusammenfassungen und ganze Programme. Ein Sprachmodell schlägt dabei nicht in einer festen Faktendatenbank nach, es berechnet Wahrscheinlichkeiten auf Basis dessen, was es im Training gesehen hat.
Wie ein Sprachmodell technisch lernt
Text wird zuerst in Token zerlegt, kleine Wort- oder Silbenstücke, mit denen das Modell überhaupt rechnen kann. Darauf aufbauend nutzt ein modernes Sprachmodell die sogenannte Transformer-Architektur mit einem Aufmerksamkeitsmechanismus, der erkennt, welche Wörter in einem Satz oder Absatz aufeinander Bezug nehmen. Trainiert wird das Ganze mit Milliarden von Parametern an gewaltigen Textmengen, indem das Modell wieder und wieder übt, das nächste Wortstück vorherzusagen. Wie viel Text es dabei gleichzeitig im Blick behalten kann, legt das Kontextfenster fest.
Der Denkfehler, der die meisten Probleme erklärt
Das größte Missverständnis im Umgang mit einem Sprachmodell ist, es wie ein Nachschlagewerk zu behandeln, das feste Fakten gespeichert hat und bei Bedarf abruft. Tatsächlich sagt es vorher, was statistisch am plausibelsten klingt. Meistens ist das auch korrekt, weil korrekte Antworten in den Trainingsdaten häufiger vorkommen als falsche. Zwingend ist es aber nicht, weshalb ein Modell auch überzeugend falsche Dinge sagen kann, siehe Halluzination. Wer das im Kopf behält, prüft wichtige Aussagen gegen, statt sie blind zu übernehmen, nur weil sie sicher formuliert klingen.
Warum die Trainingsdaten den Unterschied machen
Wie gut ein Sprachmodell in einer Sprache oder einem Fachgebiet ist, hängt direkt davon ab, wie viel und wie gutes Material davon im Training vorkam. Bei Englisch ist die verfügbare Textmenge im Internet um ein Vielfaches größer als bei Deutsch, das schlägt sich spürbar nieder, etwa darin, wie natürlich sich eine Antwort auf Deutsch liest oder wie zuverlässig deutschsprachige Fachbegriffe verwendet werden. Ein Modell erfindet dieses Wissen nicht aus dem Nichts, es destilliert es aus dem, was es gelesen hat.
Sprachmodell, Chatbot und KI-Agent sind nicht dasselbe
Ein Sprachmodell selbst ist nur der Motor. Ein Chatfenster wie ChatGPT oder Claude packt drumherum eine Oberfläche, ein Gedächtnis für den laufenden Chat und Sicherheitsregeln. Ein KI-Agent geht noch einen Schritt weiter und nutzt das Sprachmodell, um selbstständig Werkzeuge zu bedienen und mehrere Schritte hintereinander auszuführen, statt nur zu antworten. Das Modell im Kern bleibt bei allen dreien dasselbe Prinzip: aus Kontext das wahrscheinlichste nächste Wortstück berechnen.
Quellen: Wie funktionieren LLMs? (Fraunhofer IESE) · Large Language Models (LLM) verstehen und anwenden (Haufe Akademie)
Häufige Fragen
Ist ein Sprachmodell dasselbe wie ChatGPT oder Claude?
Nicht ganz. Ein Sprachmodell ist die eigentliche KI dahinter. ChatGPT oder Claude sind Produkte, die ein solches Modell mit einer Oberfläche, Speicherfunktionen und weiteren Werkzeugen drumherum nutzbar machen.
Weiß ein Sprachmodell, ob eine Aussage stimmt?
Nein, nicht im menschlichen Sinn. Es berechnet, welches Wortstück statistisch am wahrscheinlichsten passt, es prüft nicht gegen eine feste Faktendatenbank. Das ist auch der Grund, warum Modelle gelegentlich falsche Dinge mit voller Überzeugung sagen, siehe Halluzination.
Warum verstehen sich verschiedene Sprachmodelle unterschiedlich gut auf Deutsch?
Weil die Menge und Qualität deutschsprachiger Trainingstexte zwischen Modellen unterschiedlich ausfällt. Ein Modell ist immer nur so gut in einer Sprache, wie viel und wie gutes Material davon im Training vorkam.
Willst du das bei dir umsetzen?
In der Community zeige ich, was bei mir hält. Im Erstgespräch schauen wir uns dein Vorhaben konkret an.