Von der Idee zum LLM · Teil 2

Was ein LLM ist (und wie aus Wörtern Zahlen werden)

Beim letzten Mal haben wir geklärt, was KI im Kern ist. Kein denkender Computer, sondern ein System, das Muster aus Beispielen ableitet. Wie ein Kind, das irgendwann Hund und Katze auseinanderhält, ohne je eine Definition gehört zu haben.

Heute wird es konkreter. Jetzt geht es um die Sorte KI, über die gerade alle reden und die hinter ChatGPT und dem Copilot steckt.

Was die drei Buchstaben bedeuten

LLM steht für „Large Language Model“, auf Deutsch großes Sprachmodell. Das klingt geheimnisvoller als es ist. Gemeint ist ein System, das mit gewaltigen Mengen Text gefüttert wurde und daraus gelernt hat, wie Sprache funktioniert.

Das „groß“ ist dabei wörtlich zu nehmen. Wir reden nicht von ein paar tausend Büchern, sondern von einem Textberg, den ein Mensch in mehreren Leben nicht durchlesen könnte.

Das eigentliche Problem

Bevor so ein Modell überhaupt etwas lernen kann, steht eine unscheinbare Hürde im Weg. Ein Computer kann mit Wörtern nichts anfangen. Er kennt nur Zahlen. „Rechnung“ ist für ihn erst mal genauso bedeutungslos wie ein Kaffeefleck.

Also muss jedes Wort eine Zahl werden. Und hier wird es interessant, denn einfach durchnummerieren bringt nichts. Wäre „Hund“ die Nummer 4711 und „Katze“ die Nummer 21983, wüsste der Computer immer noch nichts über ihr Verhältnis. Zwei zufällige Zahlen, kein Zusammenhang.

Die Landkarte der Bedeutungen

Stell dir stattdessen eine riesige Landkarte vor. Kein Land drauf, keine Städte, sondern Wörter. Jedes Wort bekommt einen festen Ort auf dieser Karte.

Und zwar nicht irgendwo. Wörter, die inhaltlich zusammengehören, liegen nah beieinander. Hund und Katze sind Nachbarn. Ein Stück weiter liegen Leine, Napf und Halsband. Ganz woanders auf der Karte, in einem völlig anderen Viertel, drängeln sich Rechnung, Beleg, Faktura und Zahlungseingang.

Die Zahl, die ein Wort bekommt, ist also keine laufende Nummer, sondern eine Ortsangabe. Und Orte kann man vergleichen. Auf einmal lässt sich ausrechnen, wie nah zwei Wörter beieinander liegen. Damit hat der Computer etwas in der Hand, mit dem er arbeiten kann.

Woher weiß es, was wohin gehört?

Diese Karte hat niemand gezeichnet. Kein Mensch hat entschieden, dass Hund und Katze Nachbarn sind. Das Modell hat es selbst herausgefunden, und dabei hilft wieder unser Kind.

Wie lernt ein Kind eigentlich, was „gemütlich“ bedeutet? Ganz sicher nicht aus dem Wörterbuch. Es lernt es, weil das Wort immer in bestimmten Situationen fällt. Wenn die Decke auf dem Sofa liegt, wenn es dunkel wird und eine Kerze brennt. Aus der Umgebung erschließt sich die Bedeutung.

Genau das macht das Modell, nur mit Text statt mit Abenden auf dem Sofa. Es liest unvorstellbar viel und stellt fest: „Rechnung“ und „Beleg“ stehen erstaunlich oft von denselben Wörtern umgeben. Also gehören sie auf der Karte nah zusammen. Bedeutung entsteht aus Gesellschaft.

Der Punkt, an dem es ein bisschen unheimlich wird

Auf dieser Karte haben nicht nur Orte eine Bedeutung, sondern auch Richtungen. Und das ist der Teil, der wirklich hängen bleibt.

Eine Sache muss ich dazu zugeben: Unsere Landkarte ist zur Veranschaulichung platt gedrückt. In Wirklichkeit ist der Ort eines Wortes nicht durch zwei Angaben beschrieben, sondern durch hunderte. Stell dir statt zweier Koordinaten eine lange Liste von Merkmalen vor. Hat es mit Politik zu tun? Mit Geografie? Ist es ein Ort oder ein Land? So geht es hunderte Male weiter.

Und jetzt schau dir zwei Paare an.

Deutschland und Berlin haben unheimlich viel gemeinsam. Beide gehören in die Politik, beide nach Europa, beide in den deutschen Sprachraum. In genau einem Punkt unterscheiden sie sich: Das eine ist das Land, das andere sein Regierungssitz.

Bei Frankreich und Paris ist es exakt derselbe eine Unterschied. Alles andere bleibt gleich.

Wenn sich aber nur ein einziges Merkmal ändert und alle anderen unberührt bleiben, dann muss die Bewegung auf der Karte zwangsläufig dieselbe sein. Wie beim Stadtplan: „Zwei Straßen nach Norden“ ist derselbe Schritt, egal ob du an der Bäckerei losläufst oder an der Schule.

Genau das passiert hier. Der Weg von Deutschland nach Berlin ist derselbe wie von Frankreich nach Paris. Gleiche Richtung, gleiche Länge, an zwei völlig verschiedenen Stellen der Karte.

Das Verblüffende daran: Dem Modell hat niemand erklärt, was eine Hauptstadt ist. Es hat nur gelesen, wie Menschen über diese Wörter schreiben. Über Berlin steht dort dasselbe Drumherum wie über Paris, Regierung und größte Stadt und Sitz der Ministerien. Dieser Zusammenhang ist deshalb ganz von allein auf der Karte gelandet, ohne dass ihn jemand hineingeschrieben hätte.

Diese Mechanik hat allerdings eine Schattenseite. Auf der Karte landet alles, was in den Texten steckte, auch das Schiefe. Wenn in Millionen Texten bestimmte Berufe fast immer von Männern ausgeübt werden, hält das Modell das für ein Muster wie jedes andere und gibt es weiter. Es hat keine Ahnung, dass es damit ein Vorurteil wiederholt. Für dich heißt das: Eine KI ist nie neutraler als die Texte, aus denen sie gelernt hat.

An dieser Stelle hört reines Sortieren auf und es wird etwas anderes daraus.

Was du davon im Alltag merkst

Diese Karte ist der Grund, warum eine KI dich versteht, wenn du nach der Faktura fragst und im Dokument „Rechnung“ steht. Eine klassische Suche findet an der Stelle nichts, weil die Buchstaben nicht passen. Das Modell schon, weil die beiden Wörter benachbart liegen.

Die Kehrseite ist genauso wichtig. Auf der Karte steht nur, was in den Texten vorkam, mit denen das Modell trainiert wurde. Euer firmeninternes Kürzel für ein Projekt liegt dort nirgendwo. Das Modell hat es nie gesehen und rät dann munter. Wie man ihm dieses Wissen doch beibringt, ist ein eigener Teil dieser Serie.

Das eine Fachwort für heute: „Embedding“ oder „Wortvektoren“

Wenn dir die Begriffe „Embedding“ oder „Wortvektoren“ begegnen: Beide meinen nichts anderes als den Ort eines Wortes auf dieser Karte. Die Wörter kannst du vergessen. Merk dir die Landkarte.

Damit hat unser Modell jetzt ein Vokabular. Es weiß, welche Wörter zusammengehören. Aber das ist erst die Grundausstattung. Wo steckt eigentlich all das andere, was so ein Modell über die Welt zu wissen scheint? Das ist kein Text, der irgendwo gespeichert liegt. Beim nächsten Mal öffnen wir die Motorhaube und schauen uns an, wo das Gelernte tatsächlich sitzt.

Teil 3 in zwei Wochen: Wo das Gelernte im Inneren steckt.