Themen, die einen zweiten Blick verdienen
VIVA PARADOX.Unabhängige Geschichten, verständlich erzählt.
Viva Paradox · DE

Warum halluzinieren KI-Chatbots?

Conceptual editorial artwork: Warum halluzinieren KI-Chatbots?

KI-Chatbots können Fragen beantworten, Dokumente zusammenfassen, E-Mails entwerfen und komplexe Themen in Sekunden erklären. Sie können aber auch selbstbewusste Antworten liefern, die falsch, unbelegt oder vollständig erfunden sind. Dieses Problem wird gemeinhin als KI-„Halluzination“ bezeichnet.

Warum also halluzinieren KI-Chatbots? Die kurze Antwort lautet: Große Sprachmodelle sind darauf ausgelegt, plausiblen Text zu erzeugen, nicht darauf, jede Aussage direkt an der Realität zu überprüfen. Halluzinationen können entstehen, wenn einem Modell genügend Kontext fehlt, es mit einer mehrdeutigen Eingabe konfrontiert ist, sich auf unvollständige oder veraltete Informationen stützt oder dafür belohnt wird, eine Antwort zu geben, statt Unsicherheit einzugestehen.

Halluzination ist kein einzelner Fehler mit einer universellen Ursache. Sie ist eine bekannte Zuverlässigkeitsgrenze generativer KI-Systeme, die gesteuert werden muss – besonders dann, wenn KI in Unternehmen, im Rechtswesen, in der Medizin, in der Wissenschaft oder in öffentlich sichtbaren Bereichen eingesetzt wird.

Was bedeutet es, wenn ein KI-Chatbot halluziniert?

Eine Halluzination eines KI-Chatbots ist eine Antwort, die plausibel klingt, aber falsch, irreführend, unbelegt oder erfunden ist. Der Chatbot kann Details erfinden, Fakten falsch wiedergeben, nicht existierende Quellen zitieren oder echte Informationen auf unzutreffende Weise miteinander kombinieren.

Der Begriff „Halluzination“ ist weit verbreitet, kann aber irreführend sein, wenn er nahelegt, das System lüge absichtlich. Sicherer lässt sich das Problem so verstehen: Das Modell erzeugt flüssige Sprache, die möglicherweise nicht auf überprüften Fakten beruht.

Das National Institute of Standards and Technology beschreibt diese Art von Problem als „Konfabulation“ generativer KI: plausibel wirkende, aber fehlerhafte erzeugte Inhalte, die in KI-Systemen als Anliegen des Risikomanagements behandelt werden sollten. NISTs Generative AI Profile for the AI Risk Management Framework ordnet solche Fehler als Risiken ein, die Organisationen identifizieren, messen und steuern sollten, und nicht als seltene einmalige Pannen.

Warum halluzinieren KI-Chatbots?

KI-Chatbots halluzinieren aus mehreren, sich überschneidenden Gründen. Der wichtigste ist, dass Sprachmodelle Antworten erzeugen, indem sie wahrscheinliche Wortfolgen auf der Grundlage von Mustern vorhersagen, die sie im Training gelernt haben. Das kann hilfreiche und zusammenhängende Antworten hervorbringen, doch Kohärenz ist nicht dasselbe wie Korrektheit.

Ein Chatbot kann halluzinieren, wenn:

  • Die Frage der Nutzerin oder des Nutzers vage oder mehrdeutig ist.
  • Das Modell nicht über genügend relevanten Kontext verfügt.
  • Die benötigten Informationen in seinen Trainingsdaten fehlten, unvollständig oder veraltet waren.
  • Die Eingabe nach einer bestimmten Antwort verlangt, obwohl die Faktenlage unsicher ist.
  • Das System darauf optimiert ist, eine hilfreich klingende Antwort zu produzieren, statt zu sagen: „Ich weiß es nicht.“
  • Abgerufene Dokumente oder Web-Ergebnisse sind irrelevant, unvollständig, veraltet oder werden falsch gelesen.
  • Das Modell kombiniert Informationsteile auf eine Weise, die logisch erscheint, aber sachlich falsch ist.

Deshalb treten Halluzinationen häufig in Bereichen auf, in denen Details entscheidend sind: Zitate und Quellenangaben, Daten, Produktrichtlinien, juristische Verweise, medizinische Erklärungen, Finanzinformationen, Namen, wörtliche Zitate und technische Spezifikationen.

Training und Bewertung können Raten belohnen

Ein wichtiger Grund dafür, dass KI-Chatbots halluzinieren, ist, dass gängige Trainings- und Bewertungsverfahren Modelle dafür belohnen können, zu raten, statt Unsicherheit einzugestehen.

Forschende von OpenAI haben argumentiert, dass Sprachmodelle unter anderem deshalb halluzinieren können, weil viele Bewertungen Prüfungen ähneln, die eine richtige Antwort belohnen, aber kalibrierte Unsicherheit nicht ausreichend honorieren. In OpenAIs Artikel darüber, warum Sprachmodelle halluzinieren, beschreiben die Forschenden, wie Bewertungsanreize dazu führen können, dass Raten besser erscheint als zu sagen: „Ich weiß es nicht“ – selbst dann, wenn Unsicherheit das verlässlichere Verhalten wäre.

Das bedeutet nicht, dass Bewertungsanreize die einzige Ursache für Halluzinationen sind. Es bedeutet aber, dass die Art und Weise, wie Modelle trainiert, getestet und bewertet werden, beeinflussen kann, ob sie lernen, Unsicherheit auszudrücken oder selbstbewusste Antworten zu geben, die falsch sein können.

Für Nutzerinnen und Nutzer erklärt das ein vertrautes Muster: Ein Chatbot kann mit geschliffener Sicherheit antworten, selbst wenn die Frage Informationen erfordert, über die er tatsächlich nicht verfügt.

Warum Halluzinationen so überzeugend klingen

KI-Halluzinationen sind besonders riskant, weil sie oft glaubwürdig klingen. Ein Chatbot kann einen gut strukturierten Absatz formulieren, einen professionellen Ton verwenden und scheinbar konkrete Details nennen – und trotzdem falsch liegen.

Das liegt daran, dass sprachliche Gewandtheit und sachliche Richtigkeit unterschiedliche Fähigkeiten sind. Ein Modell kann hervorragend darin sein, natürliche Sprache zu erzeugen, und dennoch daran scheitern zu überprüfen, ob eine Aussage wahr ist. Es kann eine Antwort liefern, die dem Stil einer fachkundigen Erklärung folgt, ohne zuverlässig die Standards einer professionellen Faktenprüfung zu erfüllen.

Deshalb sollten Nutzerinnen und Nutzer bei Antworten vorsichtig sein, die Folgendes enthalten:

  • Sehr konkrete Behauptungen ohne Quellen.
  • Zitate oder Quellenangaben, die sich nicht überprüfen lassen.
  • Selbstbewusste rechtliche, medizinische oder finanzielle Beratung.
  • Behauptungen über aktuelle Ereignisse, Richtlinien, Preise oder Produktfunktionen.
  • Zitate oder Statistiken, die nicht mit verlässlichen Quellen verlinkt sind.
  • Antworten, die trotz einer vagen Eingabe zu vollständig wirken.

Eine überzeugende Antwort ist nicht zwangsläufig eine richtige Antwort.

Häufige Arten von Chatbot-Halluzinationen

Halluzinationen von KI-Chatbots können viele Formen annehmen. Häufige Beispiele sind:

Erfundene Quellenangaben

Ein Chatbot kann Artikeltitel, wissenschaftliche Arbeiten, Gerichtsentscheidungen, Autorinnen und Autoren, Seitenzahlen oder URLs erfinden. Manchmal wirkt das Format der Quellenangabe authentisch, obwohl die Quelle nicht existiert.

Falsche Fakten

Das System kann ein falsches Datum, einen falschen Ort, eine falsche Produktfunktion, Unternehmensrichtlinie, historische Einzelheit oder technische Anforderung nennen.

Falsch zugeordnete Zitate

Ein Chatbot kann eine Aussage einer Person zuschreiben, die sie nie gemacht hat, oder etwas so frei paraphrasieren, dass das Ergebnis irreführend ist.

Nicht existierende Regeln oder Richtlinien

In geschäftlichen Kontexten kann ein Chatbot Rückgaberichtlinien, HR-Verfahren, Garantiebedingungen, Compliance-Anforderungen oder interne Prozessschritte erfinden, wenn er keinen Zugriff auf maßgebliche Dokumentation hat.

Übermäßig selbstsichere Antworten in Fachgebieten

In Bereichen mit hohem Risiko wie Gesundheit, Recht, Finanzen und Ingenieurwesen kann ein Chatbot eine Antwort liefern, die fachkundig klingt, aber wichtige Einschränkungen auslässt oder sich auf unvollständige Informationen stützt.

Fehlerhafte Synthese

Ein Modell kann reale Fakten falsch miteinander verbinden. So kann es etwa Details aus zwei verschiedenen Gesetzen, Unternehmen, Produkten oder Forschungsergebnissen zu einer unzutreffenden Erklärung verschmelzen.

Verhindern Web-Browsing und RAG Halluzinationen?

Web-Browsing, Quellenangaben und retrieval-gestützte Generierung können helfen, Halluzinationen zu verringern, indem sie dem Modell Zugang zu externen Informationen geben. Sie beseitigen das Problem jedoch nicht.

Die WebGPT-Forschung von OpenAI untersuchte, ob Modelle Web-Browsing und Quellenverweise nutzen können, um die faktische Genauigkeit zu verbessern. Das Projekt, beschrieben in WebGPT: Verbesserung der faktischen Genauigkeit durch Web-Browsing, zeigte, dass Browsing und Quellenverweise nützliche Werkzeuge sein können, um Antworten in externen Quellen zu verankern.

Diese Forschung sollte jedoch nicht als Beleg dafür verstanden werden, dass sich alle retrieval-gestützten Systeme gleich verhalten. Retrieval kann weiterhin scheitern, wenn das System das falsche Dokument findet, die relevanteste Quelle übersieht, veraltete Informationen nutzt oder die abgerufenen Inhalte falsch interpretiert.

Ein retrieval-basierter Chatbot kann weiterhin halluzinieren, wenn:

  • Die abgerufene Quelle für die Frage irrelevant ist.
  • Die Quelle unvollständig oder veraltet ist.
  • Das Modell die Quelle falsch liest oder überdehnt.
  • Das System mehrere Quellen falsch kombiniert.
  • Die Antwort Behauptungen enthält, die durch das abgerufene Material tatsächlich nicht gestützt werden.

Anders gesagt: Retrieval erhöht die Chancen auf eine faktische Verankerung, ist aber keine Garantie für Richtigkeit.

Wie NIST das Halluzinationsrisiko einordnet

Die Leitlinien von NIST zum Risikomanagement bei generativer KI sind hilfreich, weil sie Konfabulation als ein zu steuerndes Risiko behandeln – nicht als ein rätselhaftes Verhalten, das Nutzer einfach hinnehmen müssen.

Für Organisationen ist diese Unterscheidung wichtig. Wenn ein Chatbot im Kundensupport, in Arbeitsabläufen von Beschäftigten, in der Forschung, in der Softwareentwicklung oder in der Content-Produktion eingesetzt wird, sollte das Halluzinationsrisiko bei Design, Einführung, Überwachung und Governance berücksichtigt werden.

Ein Ansatz zum Risikomanagement kann Folgendes umfassen:

  • Festlegen, wo KI-generierte Fehler Schaden verursachen könnten.
  • Modellausgaben vor der Einführung testen.
  • Antworten nach dem Start überwachen.
  • Menschliche Überprüfung für Anwendungsfälle mit großer Tragweite vorschreiben.
  • Die Befugnisse von Chatbots in sensiblen Arbeitsabläufen begrenzen.
  • Bekannte Einschränkungen für Nutzerinnen und Nutzer dokumentieren.
  • Abrufquellen und Wissensdatenbanken aktualisieren.

Dieser Ansatz erkennt an, dass Halluzinationen möglicherweise nicht vollständig verhindert werden können, ihre Wahrscheinlichkeit und ihre Auswirkungen aber oft verringert werden können.

Praxisprüfung: Widerspruch von fehlenden Belegen trennen

Die folgenden Bestandsdaten und Aussagen sind fiktives Lehrmaterial, keine beobachteten Chatbot-Antworten oder Modellbenchmarks. Verwenden Sie nur diese Angaben und nehmen Sie zwischen den Tagen keinen unveränderten Bestand an.

Quelle A · vollständige Momentaufnahme der genannten Lager

1. Oktober 2026: blaue Hefte in Lager A = 12; blaue Hefte in Lager B = 8; rote Hefte in Lager A = 3. Dies sind alle Einträge der Beispielaufnahme, kein nationaler Bestand.

Quelle B · Teilaktualisierung

2. Oktober 2026: blaue Hefte in Lager A = 9. Lager B und rote Hefte werden nicht aktualisiert.

Zu prüfende Aussage Bewertung Begründung oder Rechnung
Am 1. Oktober lagen dort 20 blaue Hefte [A]. Belegt. Gleiches Datum und Produkt: 12 + 8 = 20.
Am 1. Oktober gab es insgesamt 20 Hefte [A]. Widersprochen. Die vollständige Aufnahme enthält zusätzlich 3 rote Hefte: 12 + 8 + 3 = 23.
Am 2. Oktober gab es 21 blaue Hefte [A, B]. Nicht belegt. 12 + 9 zählt Lager A an verschiedenen Tagen doppelt. Der neue Bestand in B fehlt. 21 ist unbelegt; die Daten beweisen aber nicht, dass die reale Summe niemals 21 sein könnte.
Die Daten bestätigen den heutigen landesweiten Live-Bestand. Nicht belegt. Genannte Lager und datierte Aufnahmen belegen weder landesweite Abdeckung noch Echtzeitverfügbarkeit.

Korrigierte Antwort

Am 1. Oktober hielten die genannten Lager 20 blaue und insgesamt 23 Hefte [A]. Am 2. Oktober meldete Lager A 9 blaue Hefte [B]. Die Teilaktualisierung belegt weder die vollständige Summe für den 2. Oktober noch heutige Verfügbarkeit.

Mehr prüfen als einen selbstsicheren Ton

Die zweite Aussage widerspricht der vollständigen Aufnahme direkt. Die letzten beiden überschreiten die Beleglage. Trennen Sie diese Diagnosen: Fehlende Belege rechtfertigen Zurückhaltung, beweisen aber nicht automatisch eine falsche Aussage über die reale Welt. Auch eine echte Quelle kann Datum oder Umfang einer Aussage nicht stützen.

Prüfprompt zum Kopieren

Nutze nur Quellen A und B. Zerlege die Antwort in einzelne Tatsachenbehauptungen. Markiere jede als belegt, widersprochen oder nicht belegt. Nenne Quellen-ID, Datum, Geltungsbereich und Rechnung. Übertrage Mengen nicht ohne Beleg auf ein neues Datum. Schreibe dann eine korrigierte Antwort und benenne fehlende Informationen.

Nach der Bewertung handeln

Behalten Sie belegte Aussagen mit Datum und Quelle. Berechnen Sie Widersprüche neu. Entfernen oder begrenzen Sie unbelegte Aussagen oder fordern Sie fehlende Datensätze an. Hier würde eine vollständige Aufnahme beider Lager und Produkte vom 2. Oktober die Summe klären. Für einen heutigen Kauf wäre eine neue Bestandsabfrage nötig.

Bei einem Chatbot-Test speichern Sie echte Antworten und Einstellungen getrennt von dieser Lösung. Eine vom Modell genannte Prozentzahl ist keine verifizierte Genauigkeit für diese Daten. Die Übung prüft vier verfasste Aussagen, keine allgemeine Halluzinationsrate.

Verwandter Leitfaden: KI-Antworten Aussage für Aussage prüfen

Was Nutzerinnen und Nutzer bedenken sollten

KI-Chatbots halluzinieren, weil sie auf der Grundlage gelernter Muster und des verfügbaren Kontexts plausibel klingende Sprache erzeugen. Sie überprüfen nicht automatisch jede Aussage an der Realität. Trainingsanreize, Bewertungsmethoden, fehlender Kontext, mehrdeutige Eingaben, unvollständige Daten und Fehler beim Abrufen von Informationen können allesamt zu falschen oder nicht belegten Antworten beitragen.

Die wichtigste Erkenntnis ist nicht, dass Chatbots nutzlos sind. Vielmehr müssen ihre Ausgaben angemessen eingeordnet werden. Sie können leistungsfähige Assistenten beim Entwerfen von Texten, bei der Rechercheunterstützung, bei Erklärungen und bei der Beschleunigung von Arbeitsabläufen sein, sind aber keine unfehlbaren Wahrheitsquellen.

Wenn es auf Genauigkeit ankommt, sollte die Antwort überprüft werden. Bitten Sie um Quellen, prüfen Sie Zitate, liefern Sie Kontext, fördern Sie den Hinweis auf Unsicherheit und setzen Sie bei folgenreichen Entscheidungen auf menschliche Kontrolle. Halluzinationen sind eine bekannte Einschränkung generativer KI, und der sicherste Ansatz besteht darin, sie zu steuern, statt anzunehmen, das Problem sei gelöst.