Warum sie manchmal danebenliegt, und was das für den Betrieb bedeutet
In Teil 5 haben wir dem Modell den Zettel auf den Tisch gelegt. Es schlägt jetzt in euren eigenen Unterlagen nach und kann die Quelle mitliefern.
Trotzdem liegt es weiter daneben. Seltener, aber es passiert. Und weil das der letzte Teil dieser Serie ist, kommt hier der unangenehme Teil ohne Beschönigung.
Das Kind und das Okapi
Fragt ein Kind, wie ein Okapi aussieht, und es hat noch nie eines gesehen. Kaum eines sagt „kenne ich nicht“. Die meisten bauen sich aus allem, was sie über Tiere wissen, etwas Plausibles zusammen. Vier Beine, Fell, vielleicht Streifen.
Das Ergebnis klingt vernünftig. Und beim Okapi hat das Kind mit den Streifen sogar recht, was die Sache schlimmer macht statt besser. Denn wer einmal recht hatte, dem glaubt man beim nächsten Mal ungeprüft.
Warum das Wort Halluzination in die Irre führt
Der Fachbegriff für erfundene Antworten lautet Halluzination. Das klingt nach Störung, nach etwas, das man wegreparieren könnte.
Tatsächlich tut die Maschine genau das, wofür sie gebaut wurde. Sie liefert das wahrscheinlichste nächste Häppchen. In dieser ganzen Kette gibt es keine einzige Stelle, an der geprüft wird, ob etwas stimmt. Es gibt nur eine Stelle, an der geprüft wird, ob etwas passt.
Passend und richtig sind aber zwei verschiedene Dinge.
Wo es besonders gefährlich wird
Fehler verteilen sich nicht gleichmäßig. Am heikelsten sind Angaben, die eine feste Form haben. Zahlen, Fristen, Paragraphen, Aktenzeichen, Namen, Quellenangaben.
Genau diese Formen kann ein Sprachmodell mühelos nachbauen, denn es hat tausende davon gesehen. Ein erfundener Paragraph sieht aus wie ein echter Paragraph. Eine erfundene Frist sieht aus wie eine echte Frist. Und im Gegensatz zu einem holprigen Satz fällt das beim Lesen niemandem auf.
Auch der Zettel hilft nur halb
Der Umweg über die eigenen Dokumente aus Teil 5 senkt die Fehlerquote erheblich. Er beseitigt sie nicht.
Findet die Suche nichts Passendes, verschwindet die Frage ja nicht. Das Modell antwortet dann weiter, nur eben aus dem Training statt aus eurem Ordner. Und es kann eine gefundene Stelle falsch zusammenfassen.
Die zweite Variante ist die tückischere. Unter der Antwort steht dann eine echte Quellenangabe, Handbuch Seite 12, und die Aussage darüber stimmt nicht. Die Quelle erzeugt Vertrauen, das die Aussage nicht verdient hat.
Die Frage, die im Betrieb wirklich zählt
Aus all dem folgt nicht, dass man die Finger davon lassen sollte. Es folgt eine andere Frage.
Nicht „ist die KI zuverlässig“, sondern „was kostet hier ein Fehler, und wie schnell fällt er auf“.
Wer eine Mail umformulieren lässt, merkt sofort, wenn etwas schiefgeht, und es kostet nichts. Wer eine Vertragsfrist abfragt, merkt es womöglich erst, wenn die Frist verstrichen ist. Dieselbe Technik, völlig unterschiedliches Risiko.
Deshalb sortiert man Aufgaben sinnvollerweise nicht nach Schwierigkeit, sondern nach Schadenshöhe. Das ist eine Sortierung, die jeder Betrieb selbst hinbekommt, und sie ist mehr wert als jede Diskussion über Modelle.
Das langweilige Gegenmittel
Es gibt keinen Trick. Es gibt jemanden, der es kann und drüberschaut.
Was eine KI einspart, ist die Zeit fürs Erstellen, nicht die fürs Prüfen. Wer beides einspart, hat keine Zeit gewonnen, sondern Risiko eingekauft. Das klingt ernüchternd, ist es aber nicht, denn der Entwurf ist bei den meisten Aufgaben der teure Teil.
Was von sechs Teilen bleibt
Unser Kind hat viel gelernt. Es unterscheidet Hunde von Katzen, es hat eine Landkarte der Bedeutungen im Kopf, das Gelernte steckt verteilt in unzähligen Reglerstellungen, es antwortet Häppchen für Häppchen, und es kann inzwischen in euren Unterlagen nachschlagen.
Was es nicht kann, ist zweifeln.
Das ist der eine Satz, den ich mir aus dieser Serie merken würde. Diese Maschine ist kein Kollege, der nachfragt, wenn etwas nicht zusammenpasst. Sie ist ein außerordentlich schneller Entwurfshersteller, der nie zugibt, dass er etwas nicht weiß. Wer sie so einsetzt, holt eine Menge heraus. Wer sie für einen Kollegen hält, wird irgendwann überrascht.
Danke fürs Mitlesen bis hierher.
Bild-Prompts für Gemini
Titelbild (16:9)
A warm, softly lit illustration of a child standing confidently in front of a large sheet of paper on an easel, having just drawn an imaginary animal with four legs and stripes. The child looks pleased and certain. The drawing is naive and clearly invented. Muted teal and warm cream palette, soft paper texture, clean editorial illustration style, no text or lettering anywhere, generous empty space on the right.
Zweites Bild (für den Abschnitt zur Quellenangabe, 4:3)
Comments are closed