Ein Sprachmodell schreibt Ihnen eine Quellenangabe, komplett mit Autor, Titel, Jahr und Seitenzahl. Alles sieht richtig aus. Nur existiert die Veröffentlichung nicht. Dieses Verhalten hat einen unglücklichen Namen bekommen – Halluzination –, und es ist der häufigste Grund, warum KI-Einsatz im Beruf schiefgeht.

Unglücklich ist der Begriff, weil er nach Störung klingt. Tatsächlich ist es kein Fehler im engeren Sinne, sondern die Funktionsweise selbst. Wer versteht, warum das passiert, erkennt die Fälle und schützt sich zuverlässig davor.

Warum Modelle erfinden

Ein Sprachmodell schlägt keine Datenbank nach. Es setzt Text fort, indem es aus dem Gelesenen ableitet, welche Wörter als Nächstes wahrscheinlich sind. Diese Fortsetzung ist immer plausibel formuliert – ob sie zutrifft, ist eine andere Frage.

Fehlt eine Information, gibt es im Modell keinen Mechanismus, der „Ich weiß es nicht" wahrscheinlicher macht als eine erfundene Antwort. Im Gegenteil: In den Trainingsdaten folgt auf eine Frage fast immer eine Antwort, selten ein Eingeständnis von Unwissen. Das Modell tut also genau das, wofür es gebaut wurde – es produziert eine wahrscheinlich klingende Fortsetzung.

Daraus folgt der wichtigste Satz zum Thema: Die Sicherheit der Formulierung sagt nichts über die Richtigkeit des Inhalts. Ein erfundenes Detail klingt exakt so überzeugend wie ein zutreffendes. Es gibt kein sprachliches Warnsignal.

Wo es besonders häufig passiert

Quellen, Zitate und Fundstellen. Der klassische Fall. Titel, Autoren, Paragrafen und Aktenzeichen werden in plausibler Form zusammengesetzt. Besonders tückisch bei Rechtsverweisen, weil die Form stimmt.

Zahlen. Marktgrößen, Prozentwerte, Studienergebnisse. Ein Modell liefert eine Zahl, die zur Frage passt – nicht die, die stimmt.

Nischenwissen. Je spezieller das Thema, desto dünner die Datenlage, desto größer die Erfindungsneigung. Bei Ihrem Branchenspezialthema ist die Fehlerquote höher als bei Allgemeinwissen.

Aktuelles. Der Kenntnisstand eines Modells hat ein Datum. Fragen zu jüngeren Ereignissen werden aus Älterem hochgerechnet – ein Vorgang, der nach außen nicht sichtbar ist.

Rückfragen zu eigenen Aussagen. Wer nachhakt „Bist du sicher?", bekommt oft eine Korrektur – die genauso erfunden sein kann. Das Modell prüft nicht nach, es formuliert neu.

Fünf Merkmale, an denen Sie hellhörig werden

1. Auffällige Präzision. Eine Antwort nennt Seitenzahl, Randnummer oder Datum, obwohl Sie nichts vorgelegt haben. Präzision ohne Quelle ist ein Warnsignal, kein Qualitätsmerkmal.

2. Runde, gefällige Zahlen. „Rund 40 Prozent der Unternehmen" ohne Erhebung dahinter.

3. Keine Rückfrage. Wenn Ihre Aufgabe unvollständig war und trotzdem eine vollständige Antwort kommt, wurden die Lücken gefüllt.

4. Perfekt passende Beispiele. Fallbeispiele, die exakt Ihre These stützen, sind oft konstruiert.

5. Widersprüche im Verlauf. Wenn dieselbe Frage in zwei Sitzungen unterschiedlich beantwortet wird, war mindestens eine Antwort erfunden – vermutlich beide.

Was zuverlässig hilft

Die Anweisung schließt Erfindungen aus

Die wirksamste einzelne Maßnahme ist ein Satz in der Aufgabenstellung:

„Verwende ausschließlich die Angaben aus meinem Text. Wenn dir Informationen fehlen, frage nach, statt sie zu ergänzen."

Das beseitigt den größten Teil des Problems, weil es die Lücke benennbar macht, statt sie füllen zu lassen.

Material mitgeben statt Wissen abfragen

Ein Modell, das aus einem beigefügten Dokument zusammenfasst, erfindet deutlich seltener als eines, das aus dem Gedächtnis antworten soll. Verlagern Sie die Aufgabe also vom Abfragen zum Verarbeiten. Achten Sie dabei auf die Datengrenze – siehe ChatGPT im Büro: Wo die Grenze bei Firmendaten liegt.

Quellen verlangen und öffnen

Werkzeuge mit Websuche liefern Belege. Entscheidend ist der zweite Teil: die Belege tatsächlich anklicken. Eine angegebene Quelle, die niemand öffnet, ist so viel wert wie eine erfundene.

Die drei Kategorien immer prüfen

Zahlen, Namen und Rechtsverweise werden nie ungeprüft übernommen. Diese Regel ist kurz genug, um sie sich zu merken, und deckt die meisten teuren Fehler ab.

Warum das eine Schulungsfrage ist

Alle diese Maßnahmen sind einfach. Sie werden trotzdem nicht angewendet, wenn niemand erklärt hat, warum sie nötig sind. Die verbreitete Vorstellung, ein Sprachmodell sei eine Art besserer Suchmaschine, führt geradewegs zu ungeprüfter Übernahme – und diese Vorstellung hält sich, solange sie niemand korrigiert.

Der EU AI Act adressiert genau das: Nach Artikel 4 gehört zur KI-Kompetenz ausdrücklich das Bewusstsein für Risiken und mögliche Schäden. Näheres in KI-Kompetenzpflicht: Was Unternehmen jetzt tun müssen.

Fazit

Erfundene Angaben sind kein Defekt, sondern eine Eigenschaft der Bauart – und deshalb nicht wegzupatchen. Beherrschbar sind sie trotzdem: durch eine Anweisung, die Erfindungen ausschließt, durch Mitgeben von Material statt Abfragen von Wissen, und durch die feste Regel, Zahlen, Namen und Rechtsverweise immer nachzusehen.

Diese Arbeitsweise üben wir in unserem Kurs KI im Arbeitsalltag über acht Wochen an eigenen Aufgaben ein – so lange, bis das Nachprüfen zur Gewohnheit wird und nicht zur Ausnahme.

Häufige Fragen zu erfundenen KI-Antworten

Was ist eine KI-Halluzination?

Eine plausibel formulierte, aber sachlich falsche oder frei erfundene Angabe. Sie entsteht, weil ein Sprachmodell Text wahrscheinlichkeitsbasiert fortsetzt und keine Datenbank abfragt. Fehlt eine Information, wird sie durch eine passend klingende ersetzt.

Kann man Halluzinationen ganz abstellen?

Nein. Sie sind eine Folge der Funktionsweise, kein behebbarer Fehler. Ihre Häufigkeit lässt sich aber deutlich senken: durch Anweisungen, die Erfindungen ausschließen, durch Mitgeben von Quellmaterial und durch Werkzeuge mit belegter Websuche.

Woran erkenne ich eine erfundene Angabe?

An auffälliger Präzision ohne Quelle, an runden Zahlen ohne Erhebung, am Ausbleiben von Rückfragen bei unvollständiger Aufgabenstellung und an Widersprüchen zwischen zwei Sitzungen. Am Sprachstil selbst ist es nicht erkennbar – erfundene Angaben klingen genauso sicher wie zutreffende.

Hilft die Rückfrage „Bist du sicher?"

Kaum. Das Modell prüft nichts nach, sondern formuliert neu. Die Korrektur kann genauso erfunden sein wie die ursprüngliche Aussage. Verlässlich ist nur die Prüfung an der Quelle.

Welche Angaben muss man immer nachprüfen?

Zahlen, Namen und Rechtsverweise. Diese drei Kategorien decken die meisten folgenreichen Fehler ab und sind kurz genug, um sie sich als Regel zu merken.