Kurz gesagt
Eine KI-Halluzination ist, wenn ein KI-Modell Informationen erzeugt, die selbstsicher und plausibel klingen, aber tatsächlich falsch, erfunden oder nicht durch seine Quellen gedeckt sind. Das Modell lügt in keinem menschlichen Sinn; ein Sprachmodell arbeitet, indem es die wahrscheinlichsten nächsten Wörter vorhersagt, also erzeugt es, wenn ihm die richtigen Fakten fehlen, oft trotzdem eine flüssige, selbstsichere Antwort, statt zu sagen, dass es etwas nicht weiss. Halluzinationen reichen von einem falschen Datum oder einer erfundenen Quelle bis zu einer nicht existierenden API-Methode oder einem erfundenen Rechtsfall. Weil die Ausgabe autoritativ wirkt, ist Halluzination einer der grössten Gründe, einen Menschen im Loop zu behalten und alles zu verifizieren, was eine KI produziert, bevor du dich darauf verlässt.
Warum Modelle halluzinieren
Halluzination ist ein Nebeneffekt davon, wie Sprachmodelle funktionieren, kein zufälliger Bug. Ein paar Ursachen tauchen immer wieder auf.
- Vorhersage, kein Nachschlagen: das Modell erzeugt wahrscheinlichen Text, also füllt es Lücken mit plausibel klingenden Vermutungen.
- Fehlendes oder veraltetes Wissen: war der Fakt nicht im Training und nicht im Prompt, improvisiert das Modell.
- Druck zu antworten: Modelle sind auf Hilfsbereitschaft getrimmt, also neigen sie dazu, eine Antwort zu geben, statt Unsicherheit zuzugeben.
Wie du Halluzination reduzierst
Du kannst Halluzination nicht ganz beseitigen, aber viel seltener machen. Verankere das Modell mit RAG in echten Daten, sodass es aus abgerufenen Quellen statt aus dem Gedächtnis antwortet. Gib ihm Tools zum Nachschlagen statt zum Raten. Verlange überprüfbare Quellen, halte Prompts fokussiert, damit der richtige Kontext nicht vergraben wird, und senke den Einsatz, indem du Ausgaben vor dem Handeln verifizierst. Im Agentic Engineering sind Tests und menschliches Review das Sicherheitsnetz, das eine selbstsichere falsche Antwort abfängt.
Halluzination in Agents
Agents erhöhen den Einsatz, weil ein halluzinierter Fakt zu einer halluzinierten Aktion werden kann: ein Coding Agent ruft vielleicht eine API auf, die es nicht gibt, oder ein Research Agent zitiert ein Paper, das nie geschrieben wurde. Darum paart ein gutes Agent Harness das Modell mit echten Tools (Code ausführen, suchen, Dateien lesen), sodass Behauptungen gegen die Realität geprüft werden, und darum bleibt Verifizierung eine menschliche Verantwortung. Die ehrliche Haltung ist, jede selbstsichere Antwort als Entwurf zu behandeln, bis etwas Verankertes sie bestätigt.