Von der Idee zum LLM · Teil 3

Wo das Gelernte eigentlich steckt

Beim letzten Mal haben wir die Landkarte der Bedeutungen kennengelernt. Jedes Wort hat darauf seinen Ort, und ähnliche Wörter liegen nah beieinander. Damit hat unser Modell ein Vokabular.

Nur erklärt das noch nicht viel. Woher weiß so ein System, wie man einen Brief anfängt? Dass auf eine Mahnung anders geantwortet wird als auf eine Bewerbung? Irgendwo muss all das ja stecken.

Die Vorstellung, die fast alle haben

Die meisten stellen sich eine gigantische Bibliothek vor. Irgendwo liegen die Texte, mit denen das Modell trainiert wurde, und bei jeder Frage wird darin nachgeschlagen.

Das ist falsch, und zwar richtig falsch.

Ein fertiges Sprachmodell ist eine Datei voller Zahlen. Kein Archiv, kein Ordner, keine Suchfunktion. Wenn du hineinschauen könntest, würdest du keinen einzigen Satz aus dem Training wiederfinden. Die Texte sind weg. Was bleibt, ist etwas anderes.

Stell dir ein riesiges Mischpult vor

In einem Tonstudio steht so ein Pult mit Reglern. Jeder Regler ändert eine Kleinigkeit, ein bisschen mehr Bass, ein bisschen weniger Hall. Ein einzelner Regler bedeutet nichts. Erst alle zusammen ergeben den Klang.

Genau so funktioniert das Innere eines Sprachmodells, nur dass dieses Pult Milliarden Regler hat. Und in ihrer Gesamtstellung steckt alles, was das Modell kann.

Du kannst dabei keinen einzelnen Regler herausziehen und darauf lesen, dass Berlin die Hauptstadt ist. Das Wissen liegt nicht an einer Stelle, sondern verteilt über das ganze Pult.

Unser Kind aus Teil 1 kennt das Problem übrigens auch. Es unterscheidet Hund und Katze zuverlässig, aber wenn du fragst, woran es das erkennt, kommt Schulterzucken. Das Wissen liegt nicht als Satz im Kopf, sondern irgendwie im ganzen Kopf verteilt. Fragen kann man es nicht.

Wie die Regler ihre Stellung finden

Jetzt der Teil, der überraschend simpel ist.

Das Modell bekommt einen Text, in dem ein Wort fehlt. Etwa: „Ich gehe zum Bäcker und kaufe ein …“ Dann rät es. Sagen wir, es rät „Auto“.

Danach wird verglichen, was im echten Text stand. Dort steht „Brot“. Also lag das Modell daneben, und daraufhin werden ganz viele Regler ein winziges Stück nachgestellt. So weit, dass „Brot“ beim nächsten Mal etwas wahrscheinlicher wird.

Dann kommt der nächste Text. Und der nächste. Milliarden Male.

Das Schöne daran: Niemand muss dem Modell die richtige Antwort verraten. Sie steht schon im Text. Der Originaltext ist gleichzeitig die Aufgabe und die Lösung. Genau deshalb lässt sich mit gewaltigen Textmengen trainieren, ohne dass ein Mensch daneben sitzt.

Warum das so teuer ist

Milliarden Regler, Milliarden Durchläufe. Das bedeutet Monate Rechenzeit auf riesigen Maschinen und eine Stromrechnung, bei der einem schwindlig wird.

Deshalb bauen nur eine Handvoll Firmen weltweit solche Modelle von Grund auf. Alle anderen, auch wir, nutzen die fertigen und passen sie an ihre Zwecke an.

Der Punkt, der im Alltag wirklich zählt

Wenn das Training fertig ist, werden die Regler festgestellt. Sie bewegen sich nicht mehr. Und daraus folgen drei Dinge, die im Umgang mit KI dauernd eine Rolle spielen.

Das Modell hat einen Wissensstand, der irgendwann endet. Was danach passiert ist, kennt es nicht.

Es lernt nicht aus deinen Gesprächen. Was du ihm heute erklärst, ist im nächsten Chat wieder weg. Manche Anbieter verwenden Unterhaltungen später zum Training der nächsten Modellgeneration, aber das ist ein getrennter Vorgang und kein Lernen im Gespräch.

Und euer Firmenwissen ist selbstverständlich auch nicht drin. Kein Modell auf der Welt hat euren Angebotsprozess mittrainiert. Wie man es trotzdem dazubringt, damit zu arbeiten, ist das Thema von Teil 5.

Das eine Fachwort für heute lautet Parameter

Wenn dir „Parameter“ oder „Gewichte“ begegnen: Das sind die Regler. Wenn jemand von einem Modell mit vielen Milliarden Parametern spricht, redet er über die Größe des Mischpults. Die Begriffe kannst du vergessen, das Pult nicht.

Damit haben wir das Vokabular und das Gelernte zusammen. Bleibt eine Frage offen, und es ist die spannendste: Wie wird daraus ein fertiger Satz? Wenn nichts nachgeschlagen wird und nichts gespeichert ist, wie entsteht dann eine Antwort, die klingt, als hätte jemand nachgedacht?

Teil 4 in zwei Wochen: Wie Wort für Wort eine Antwort entsteht.