KI-Antworten prüfen: erfundene Fakten und Quellen erkennen
Mit KI erstellt und von einer zweiten KI anhand der Quellen geprüft. Stand: 16. November 2026. Mehr in den Hinweisen zur KI.
Eine KI antwortet in ganzen Sätzen, ohne Zögern und mit Fachwörtern. Das wirkt verlässlich, auch wenn ein Teil erfunden ist. Hier steht, warum das passiert, wo du besonders genau hinsehen solltest und wie du prüfst, ohne jede Antwort komplett nachzurecherchieren.

Das Wichtigste in Kürze
- KI-Chats erfinden manchmal Fakten, Zahlen, Urteile und Links. Fachleute nennen das Halluzination.
- Wie sicher eine Antwort klingt, sagt nichts darüber, ob sie stimmt.
- Wie gründlich du prüfst, richtet sich nach den Folgen eines Fehlers.
- Jede Quelle öffnest du selbst. Was du nicht findest, gilt als nicht belegt.
- Gute Aufträge machen Unsicheres sichtbar, ersetzen das Prüfen aber nicht.
Warum eine KI Dinge erfindet
Ein KI-Chat beruht auf einem Sprachmodell. Es berechnet, welche Wörter auf deine Frage am wahrscheinlichsten folgen. Meistens ist das Wahrscheinliche auch richtig. Bei seltenen Einzelheiten aber, etwa einem bestimmten Aktenzeichen oder der Telefonnummer einer Behörde, gibt es kein Muster, aus dem sich die richtige Antwort ableiten ließe. Dann entsteht etwas, das richtig aussieht.
OpenAI, die Firma hinter ChatGPT, erklärt das unter anderem so: Beim Training und bei Tests wird Raten belohnt, „weiß ich nicht“ dagegen nicht. Alle Fragen richtig beantworten werden Sprachmodelle nach eigener Aussage nie, weil sich manche gar nicht sicher beantworten lassen. Weniger erfinden würden sie, wenn sie öfter „weiß ich nicht“ sagten.
Stell dir einen Kollegen vor, der auf jede Frage sofort eine flüssige Antwort hat und nie sagt „da muss ich nachsehen“. Meistens liegt er richtig. Aber du weißt nie, bei welcher Antwort er gerade improvisiert.
In der Probelektion setzt du deinen ersten Auftrag zusammen und bekommst eine Rückmeldung. Ohne Konto, in wenigen Minuten. Probelektion starten
Wo Fehler besonders oft stecken
- Zahlen, Daten und Fristen: Beträge, Grenzwerte, Termine, Prozentsätze
- Paragrafen, Urteile, Normen: falsche Nummern, Urteile, die es nicht gibt, veraltete Fassungen
- Quellen und Links: Buchtitel, Studien, Webadressen, die erfunden sind oder etwas anderes sagen
- Namen: Ansprechpartner, Firmen, Produktbezeichnungen
- Aktuelles: Preise, Regeln und Ereignisse nach dem Trainingsstand
- Rechnungen im Fließtext: Zwischenergebnisse, die nicht zusammenpassen
- Zusammenfassungen: Wichtiges fehlt, oder eine Einschränkung ist verschwunden
Formulierungen, Gliederungen und Ideen sind dagegen selten „falsch“. Dort entscheidest du, ob sie passen. Das Prüfen kostet also vor allem bei Fakten Zeit, und genau dort lohnt es sich.
Wie gründlich du prüfst: nach den Folgen
Nicht jede Antwort braucht dieselbe Sorgfalt. Frag dich: Was passiert, wenn hier ein Fehler drinsteht?
| Folgen | Beispiel | So prüfst du |
|---|---|---|
| Kaum welche | Ideen für die Weihnachtsfeier, Gliederung eines Vortrags | Lesen, auswählen, fertig |
| Ärgerlich | Mail an Kundschaft, Aushang, Produkttext | Alle Fakten mit deinen Unterlagen vergleichen |
| Teuer oder gefährlich | Angebot, Sicherheitshinweis, Frist, Rechtsfrage, Dosierung | Jede Aussage in einer Primärquelle prüfen, zweite Person draufschauen lassen |
Für die dritte Zeile gilt: Eine KI darf dir beim Formulieren und Ordnen helfen, aber die Fakten kommen aus Gesetz, Herstellerunterlagen, Behörde oder Fachbuch.
Fünf Prüfschritte
- Behauptungen markieren. Geh die Antwort durch und markiere jede Aussage, die stimmen oder nicht stimmen kann: Zahlen, Namen, Regeln, Quellen.
- Primärquelle suchen. Für jede markierte Stelle: Wo steht das im Original? Gesetzestext, Datenblatt, Website der Behörde, Vertrag.
- Nachrechnen. Jede Rechnung, die wichtig ist, rechnest du selbst oder mit einer Tabelle nach.
- Quellen öffnen. Jeden Link anklicken, jedes Aktenzeichen suchen. Steht dort wirklich, was die KI behauptet?
- Gegenprobe. Bei wichtigen Texten liest eine zweite Person mit, die sich auskennt.
Beim Nachrechnen hilft eine Tabelle mehr als eine zweite Frage an die KI. Lässt du die KI ihre eigene Rechnung prüfen, wiederholt sie den Fehler manchmal oder erfindet eine neue Begründung. Die Tabelle rechnet einfach.
Heiko arbeitet im Vertriebsinnendienst eines Großhandels für Arbeitsschutzkleidung. Er lässt sich von der KI einen Vergleich zweier Handschuhmodelle für einen Kunden schreiben. Die Schutzstufen und Kategorien nimmt er nicht aus der Antwort, sondern aus den Datenblättern der Hersteller, und setzt sie selbst ein.
Quellen, die es nicht gibt
Claudia ist Personalsachbearbeiterin in einem mittelgroßen Betrieb. Sie fragt eine KI nach einem Urteil zu einer Frage aus dem Urlaubsrecht. Die Antwort nennt ein Gericht, ein Datum und ein Aktenzeichen und fasst das Urteil zusammen. Weder auf der Website des Gerichts noch in der Rechtsprechungsdatenbank ihres Verbands findet Claudia unter diesem Aktenzeichen etwas. Das Urteil ist erfunden, die Zusammenfassung klang trotzdem plausibel.
Solche Fälle sind kein Zeichen einer schlechten KI, sondern typisch für Sprachmodelle. Daraus folgt eine einfache Regel: Eine Quelle zählt erst, wenn du sie selbst geöffnet und gelesen hast. Für Rechtsfragen fragt Claudia ohnehin die Rechtsabteilung oder einen Verband; die KI hilft ihr nur, die Frage sauber zu formulieren.
Aufträge, die Unsicheres sichtbar machen
Du kannst die KI bitten, ehrlicher zu antworten. Das verhindert Fehler nicht, aber es zeigt dir, wo du zuerst prüfen solltest.
Beantworte meine Frage unten.
Kennzeichne jede Tatsachenbehauptung mit [sicher] oder [unsicher].
Wenn du etwas nicht weißt, schreib „weiß ich nicht“, statt zu raten.
Nenne nur Quellen mit vollständiger Adresse, die ich öffnen kann. Wenn du keine hast, schreib das.
Frage: [deine Frage]Die Kennzeichnung ist eine Selbsteinschätzung des Modells, und die kann ebenfalls falsch sein. Nutze sie als Reihenfolge fürs Prüfen, nicht als Freigabe für alles mit [sicher].
Wenn die KI mit deinem Text arbeitet
Sicherer wird es, wenn die KI nur mit Material arbeitet, das du ihr gibst, statt aus dem Gedächtnis zu antworten. Dann kannst du verlangen, dass sie trennt:
Arbeite nur mit dem Text unten.
Kennzeichne alles, was nicht im Text steht, sondern von dir ergänzt ist, mit [ergänzt].
Nenne bei jeder Aussage die Stelle im Text, aus der sie stammt.
Text:
[Text einfügen]Zusammenfassungen prüfen
Finn ist Fachinformatiker in einem Systemhaus. Er lässt sich das Handbuch einer neuen Firewall von 60 Seiten zusammenfassen, um schneller einen Überblick zu bekommen. Damit er prüfen kann, verlangt er zu jedem Punkt die Seitenzahl.
Fasse das angehängte Handbuch in höchstens zwölf Punkten zusammen, für jemanden, der das Gerät einrichtet.
Nenne zu jedem Punkt die Seitenzahl.
Liste danach alle Warnhinweise und Einschränkungen aus dem Handbuch vollständig auf, auch wenn sie klein gedruckt sind.Drei Punkte schlägt Finn stichprobenartig nach. Für die Liste der Warnhinweise durchsucht er das Handbuch nach „Warnung“, „Achtung“ und „Vorsicht“ und vergleicht. Einschränkungen fallen in Zusammenfassungen am ehesten weg, und gerade die sind bei der Einrichtung wichtig.
Wo du gar nicht auf die KI baust
Manche Antworten prüfst du nicht nur, sondern holst sie dir von vornherein anderswo:
- Medizinische Dosierungen und Behandlungen: aus Fachinformation, Leitlinie oder von Ärztin und Apotheker
- Fristen und Rechtsfolgen im Einzelfall: aus Gesetz, Vertrag oder von einer Fachanwältin
- Sicherheitswerte wie Lasten, Drehmomente, Grenzwerte: aus Norm, Datenblatt oder Herstellerangabe
- Steuer- und Sozialversicherungsfragen: aus offiziellen Quellen oder von der Steuerberatung
Hier kann eine KI höchstens helfen, die Frage vorzubereiten oder die Antwort einer Fachperson verständlich zu machen.
Prüfen als feste Regel im Team
In einem Betrieb, in dem mehrere Leute mit KI arbeiten, sollte niemand raten müssen, ob ein Text schon geprüft ist. Ein paar einfache Absprachen reichen:
- Entwürfe aus der KI tragen im Dateinamen oder in der ersten Zeile „Entwurf“, bis jemand sie geprüft hat.
- Wer prüft, schreibt Kürzel und Datum dazu, etwa bei Angeboten, Aushängen und Kundeninfos.
- Für Texte mit Folgen gilt das Vier-Augen-Prinzip: Eine zweite Person, die sich auskennt, liest mit.
- Fehler der KI, die jemand gefunden hat, kommen in eine kurze Liste. So wissen alle, wo sie genauer hinsehen müssen.
Solche Regeln sind kein Misstrauen gegenüber Kolleginnen und Kollegen. Sie sorgen dafür, dass ein Entwurf nicht versehentlich als fertiger Text beim Kunden landet.
So übst du das
Prüfen ist eine Gewohnheit, keine Begabung. In der Lern-App „KI können“ endet jede Lektion mit einer Prüfliste für das Ergebnis aus deiner eigenen KI, und du übst, Fehler gezielt zu finden. Ausprobieren kannst du das in der Probelektion, bevor du ein Konto anlegst.
Quellen
- OpenAI, Why language models hallucinate (5. September 2025) (öffnet in neuem Tab)
- Bundesrechtsanwaltskammer, Hinweise zum Einsatz von künstlicher Intelligenz (Stand Dezember 2024) (öffnet in neuem Tab)
- Kalai, Nachum, Vempala, Zhang, Why Language Models Hallucinate (arXiv 2509.04664) (öffnet in neuem Tab)
Stand der Angaben: 16. November 2026. Gesetze und Angebote können sich ändern; der Artikel ist keine Rechtsberatung.
Weiterlesen
Gleich ausprobieren
Die Probelektion mit Beispielen aus dem Arbeitsalltag. Ohne Konto, in wenigen Minuten.
Probelektion starten