Wie Wort für Wort eine Antwort entsteht

Beim letzten Mal haben wir ins Innere geschaut. Dort liegt keine Bibliothek, in der nachgeschlagen wird, sondern eine gigantische Wand aus Reglern. Das Gelernte steckt verteilt in ihren Stellungen, und kein einzelner Regler ist für einen bestimmten Satz zuständig.

Damit bleibt eine Frage offen, die eigentlich die spannendste ist. Wie wird aus dieser Reglerwand ein fertiger Absatz, der sich liest, als hätte jemand ihn durchdacht?

Und wer die kleine Spielerei von gestern ausprobiert hat, bekommt heute die Auflösung dazu. Warum antwortet eine KI auf die Bitte nach einer Zahl zwischen 1 und 30 so verdächtig oft mit 17?

Das Kind, das von seinem Tag erzählt

Wer Kindern beim Erzählen zuhört, hört ihnen beim Denken zu. „Wir waren im Wald, und dann haben wir einen Stock gefunden, und dann ist der Marek hingefallen, und dann…“

Dieser Satz wurde nicht vorher geplant. Er wächst, während er gesprochen wird. Was als Nächstes kommt, ergibt sich aus dem, was schon draußen ist.

Ein Sprachmodell macht es nicht anders. Es hat keinen Plan für den Absatz, den es gerade schreibt.

Eine einzige Aufgabe, tausendfach wiederholt

Ein LLM kann im Grunde nur eine Sache. Es nimmt den Text, der bisher da ist, und schätzt, welches Stück am wahrscheinlichsten als Nächstes folgt. Dieses Stück hängt es an. Dann liest es den nun ein Stück längeren Text komplett neu ein und schätzt wieder.

Das läuft für jedes einzelne Stück der Antwort. Bei einem Absatz sind das ein paar Hundert Durchläufe.

Übrigens sind es nicht immer ganze Wörter. Das Modell arbeitet mit Häppchen, die manchmal einem Wort entsprechen und manchmal nur einer Silbe. Diese Häppchen heißen im Fachjargon Token. Mehr muss man dazu nicht wissen.

Dass der Text auf dem Bildschirm nach und nach erscheint, ist deshalb keine Animation, die Spannung erzeugen soll. Du siehst der Maschine beim Arbeiten zu.

Die Sache mit der 17

Bei jedem dieser Schritte gibt es nicht einen Kandidaten, sondern eine ganze Rangliste mit Wahrscheinlichkeiten. Und genau die kann man sichtbar machen.

Frag eine KI: „Nenne eine Zahl zwischen 1 und 30.“ In den meisten Fällen kommt 17.

Für die KI ist diese Bitte kein Würfelwurf. Sie ist ein Textstück, das fortgesetzt werden soll. Die Frage, die das Modell dabei beantwortet, lautet nicht „welche Zahl wäre hier zufällig“, sondern „welches Häppchen folgt an dieser Stelle normalerweise“. Bei echtem Zufall hätte jede der dreißig Zahlen dieselbe Chance. Tatsächlich ist die Rangliste extrem schief.

Der Grund sitzt bei uns. Menschen, die um eine Zufallszahl gebeten werden, verhalten sich sehr ähnlich. Vielfache von zehn wirken zu ordentlich, Doppelziffern wie 11 oder 22 ebenfalls. Eine Zahl mit einer Sieben darin fühlt sich dagegen angenehm zufällig an. Dieses Verhalten steht millionenfach in den Texten, aus denen das Modell gelernt hat.

Interessant ist die Feinheit dabei. Das Modell hat nicht gelernt, welche Zahlen in Texten häufig vorkommen, denn dann müsste die 1 gewinnen, die praktisch nie kommt. Es hat gelernt, wie Menschen antworten, wenn man sie so etwas fragt. Und es übertreibt dabei. Bei der Auswahl aus 1 bis 10 greifen Menschen in etwa jedem vierten Fall zur Sieben, die Modelle in rund neun von zehn Fällen.

Das Muster ist stabil und hängt am Zahlenbereich. Bei 1 bis 50 landen die großen Modelle meist auf 27, bei 1 bis 100 auf 37, 47 oder 73.

Dass trotzdem ab und zu eine 23 herauskommt, hat einen eigenen Grund. Das Modell nimmt nicht immer Platz eins der Rangliste, sondern würfelt in engen Grenzen mit. Dieser Anteil ist einstellbar und heißt Temperatur. Er verschiebt die Ausläufer der Liste, flacht die Spitze aber kaum ab. Deshalb kommt manchmal etwas anderes, und deshalb ist es doch meistens die 17.

Zwei Dinge, die man daraus mitnehmen kann. Ein Taschenrechner liefert bei gleicher Eingabe immer dasselbe Ergebnis, ein Sprachmodell nicht, und das ist keine Fehlfunktion. Und wer echten Zufall braucht, braucht dafür kein Sprachmodell. Manche Modelle rufen inzwischen im Hintergrund ein richtiges Zufallswerkzeug auf, dann klappt das Experiment nicht mehr.

Warum ein falscher Anfang nicht mehr eingefangen wird

Angenommen, im dritten Häppchen landet eine falsche Angabe. Für den vierten Schritt liest das Modell diese falsche Angabe als Vorgabe wieder mit ein, so wie alles andere auch. Es hält sie nicht für einen Fehler, sondern für Text, der da steht.

Ab da wird sauber weitergebaut. Deshalb gibt es diese Antworten, die von Satz zu Satz selbstsicherer klingen und dabei immer weiter abdriften. Woran man das erkennt, kommt in Teil 6.

Warum lange Chats vergesslich werden

Weil bei jedem Schritt der gesamte bisherige Verlauf mitgelesen wird, gibt es eine Obergrenze für das, was hineinpasst. Sie heißt Kontextfenster.

Ist sie erreicht, fällt am Anfang etwas weg. Die Vorgabe, die man ganz oben gemacht hat, ist irgendwann einfach nicht mehr im Blick. Für den Alltag heißt das: bei einem neuen Thema lieber einen neuen Chat aufmachen, statt einen zwei Stunden alten weiterzuschreiben.

Und warum kaum je ein „weiß ich nicht“ kommt

Ein Mensch merkt, wenn ihm etwas fehlt, und stockt. Das Modell steht nie vor einem leeren Blatt. Irgendein nächstes Häppchen ist immer das wahrscheinlichste, auch bei einer Frage, zu der es nichts Belastbares gelernt hat.

Es fehlt der Moment des Zögerns. Das ist der eigentliche Grund, warum eine erfundene Antwort genauso souverän klingt wie eine richtige.

Bis hierher

Unser Modell kann jetzt lernen, Sprache in Zahlen fassen, das Gelernte verteilt speichern und Häppchen für Häppchen antworten. Nur weiß es ausschließlich, was im Training vorkam. Von deinen Verträgen, Handbüchern und Projektnotizen hat es nie etwas gesehen.

Wie man es genau daran heranlässt, ohne alles in eine Cloud zu schieben, ist der praktischste Teil der ganzen Serie.

Teil 5: Wie die KI an euer eigenes Firmenwissen kommt.