Das Wichtigste
- Eine sichtbare Quellenangabe eröffnet die Prüfung, schließt sie aber nicht ab.
- Dokumentenabruf verbessert einige gemessene Ergebnisse, garantiert jedoch nicht die Stützung jedes Satzes.
- Eine Referenz kann existieren, ohne den angekündigten Beleg zu enthalten, oder nur in anderem Kontext zutreffen.
- Die Verantwortung bleibt menschlich, wenn die Antwort Analyse, Empfehlung oder Entscheidungsakte beeinflusst.
Eine Quelle zu zeigen reicht nicht aus, um eine Aussage zu belegen
Ein Link verändert die Lage, weil Lesende die Antwort prüfen können. Kontrolle entsteht aber erst, wenn mehrere Bedingungen erfüllt sind. Eine korrekt formatierte Referenz kann erfunden sein. Eine reale Seite kann unzugänglich sein. Ein zugängliches Dokument kann die genannte Passage nicht enthalten.
Entsprechen Quelle und Metadaten einem realen Dokument?
Kann die prüfende Person den Volltext lesen?
Ist die relevante Passage durch Seite, Abschnitt oder prüfbaren Auszug angegeben?
Stützt die Passage die Aussage tatsächlich, ohne Umkehrung oder unzulässige Verallgemeinerung?
Erlauben Datum, Population, Kontext und Grenzen die geplante Nutzung?
Diese Ebenen machen eine Antwort nicht unfehlbar. Sie zeigen, ob die Unsicherheit in der Referenz, Passage, Interpretation oder Übertragung auf die Entscheidung liegt.
Was die RAG-Studie von 2020 tatsächlich zeigt
Lewis et al. verbinden ein generatives Modell mit einem externen Gedächtnis aus Wikipedia-Passagen. Relevante Dokumente werden vor der Antwort abgerufen. Die Autoren bezeichnen dieses Gedächtnis als prüfbar und leichter aktualisierbar als rein parametrisches Wissen. Das Herkunftsproblem wird auf Seite 1 des vollständigen wissenschaftlichen PDFs formuliert.
Im FEVER-Datensatz erscheint das Referenzdokument in 71 % der berichteten Fälle an erster Stelle und in 90 % unter den ersten zehn. Der Abruf ist häufig nützlich, aber nicht systematisch. Bei den bewerteten Aufgaben gelten RAG-Ausgaben zudem als faktischer und spezifischer als die des verglichenen BART-Modells. Ergebnisse stehen auf Seite 7 des PDFs.
Die Studie stützt den Nutzen eines externen Dokumentengedächtnisses für bestimmte Aufgaben und Datensätze. Sie belegt nicht, dass ein Unternehmensassistent jede Aussage korrekt zitiert oder dass die zuerst abgerufene Quelle für eine konkrete Entscheidung am besten geeignet ist.
Warum Zitiervorgaben nicht ausreichen
Davis und Mahmoud untersuchen 36 akademisch formulierte Dokumente aus vier Systemen und prüfen Referenzen mit Crossref, OpenAlex und arXiv. Unterschiedliche Zitiervorgaben sollen zeigen, ob strengere Regeln bibliografische Fehler reduzieren.
Die Vorgaben verändern die Fehlerverteilung, beseitigen Fehler aber nicht. Automatisierte Prüfung kann die Existenz einer Referenz feststellen, nicht jedoch, ob sie die zugeordnete Aussage stützt. Diese Grenze steht auf Seiten 10 und 11 des vollständigen PDFs.
Der Geltungsbereich ist begrenzt: feste Prompts und Modelle, drei Durchläufe je Bedingung und eine Stichprobe aus akademischem Schreiben und Software Engineering mit wenigen Systemen. Der vollständige Artikel steht auch auf der PMLR-Seite. Daraus lässt sich keine universelle Fehlerquote ableiten.
Eine EMNLP-Studie von 2023 trennt die Vollständigkeit der Stützung durch zitierte Passagen von der Relevanz jeder einzelnen Quellenangabe. Eine Antwort kann reale Dokumente nennen und dennoch Aussagen unbelegt lassen oder unnötige Referenzen ergänzen.
Im ELI5-Datensatz der Studie fehlte selbst den besten getesteten Systemen in 50 % der Fälle eine vollständige Stützung ihrer Zitate. Das ist kein universeller Wert. Die Autoren weisen außerdem darauf hin, dass ihre automatische Bewertung von der Genauigkeit des Modells abhängt, das die Stützung misst. Methode und Grenzen: Seiten 1, 4 und 10 des vollständigen PDFs.
Mata v. Avianca: Fehlende Prüfung wird zum Verantwortungsfehler
Im Fall Mata v. Avianca reichten Anwälte einen Schriftsatz mit nicht existierenden Entscheidungen und Zitaten ein, die von einem KI-System erzeugt worden waren. Der Sanktionsbeschluss erklärt, dass die Nutzung eines solchen Systems nicht an sich unzulässig wäre. Das Problem war, ungeprüfte Inhalte als reale Rechtsquellen darzustellen und die erwartete professionelle Kontrolle zu unterlassen.
Der vollständige Gerichtsbeschluss formuliert den Grundsatz auf Seite 1 und beschreibt unzureichende Nachforschung, erzeugte Antworten und Sanktionen auf Seiten 29 bis 31. Ein vollständiger CBS-News-Artikel liefert einen zweiten Tatsachenbericht.
Der Fall betrifft Berufspflichten im US-amerikanischen Justizkontext und definiert keine allgemeine Regel für jede strategische Entscheidung. Er zeigt jedoch einen übertragbaren Mechanismus: Eine scheinbar dokumentierte Ausgabe kann stärker täuschen als eine Antwort ohne Quellen, wenn eine erfundene Referenz unverdiente Autorität erhält.
Fünf Prüfungen vor der Nutzung einer belegten Antwort
| Prüfung | Frage | Zu bewahrender Beleg |
|---|---|---|
| Existenz | Stimmen Titel, Autoren, Organisation und Kennung? | Direkte URL, DOI oder offizielle Kennung. |
| Direkter Zugang | Kann die entscheidende Person den Volltext ohne generierte Zusammenfassung öffnen? | Zugängliches PDF oder vollständiger Artikel. |
| Fundstelle | Wo genau steht das verwendete Element? | Seite, Abschnitt, Tabelle oder Absatz. |
| Stützung | Sagt die Quelle tatsächlich, was ihr zugeschrieben wird? | Geprüfte Passage und getreue Umformulierung. |
| Geltungsbereich | Passen Datum, Kontext und Grenzen zur Entscheidung? | Anwendungsbedingungen und explizite Vorbehalte. |
Eine kritische Aussage sollte nach Möglichkeit anhand der Primärquelle geprüft werden. Wichtige aktuelle Ereignisse sollten durch eine zweite direkte oder unabhängige Quelle bestätigt werden. Ohne Volltext muss die Information als ungeprüft gelten und darf nicht durch flüssige Sprache zur Gewissheit werden.
Was ein nachvollziehbarer Dokumentenkorpus leistet und wo seine Grenzen liegen
Eine Dokumentenanalyse kann mit expliziten Ausgangsquellen und einem begrenzten Umfang beginnen. Sie kann Akteure, Quellen, Co-Zitationen und Themen untersuchen und berechnete Elemente von Schätzungen trennen. Die Herkunft des Korpus macht den Dokumentenweg besser lesbar als eine von Quellen gelöste Synthese.
Dieser Umfang bedeutet nicht, dass ein Assistent automatisch prüft, ob jede Passage jede Aussage stützt. Er belegt weder eine RAG-Architektur noch ein autonomes Entscheidungssystem.
Ein begrenzter Korpus mit sichtbarer Herkunft erleichtert die Dokumentenexploration. Quellenqualität, Passung zur Aussage und Relevanz für die Entscheidung bleiben menschlich zu bewerten.
Was diese Analyse belegt und was nicht
- Eine sichtbare Quelle ist für reproduzierbare Prüfung notwendig.
- Dokumentenabruf, bibliografische Gültigkeit und tatsächliche Stützung werden getrennt.
- Es entsteht kein universeller Zuverlässigkeitswert für KI-Assistenten.
- Ein direkter Link macht Inhalte nicht automatisch wahr, aktuell oder relevant.
- Sichtbare Quellen sind weder automatische Verifikation noch Beleg einer RAG-Architektur.
Eine entscheidungsrelevante Antwort ist nicht nur flüssig und belegt. Eine identifizierte Person muss den Beleg finden, seinen Geltungsbereich verstehen, die Interpretation bestreiten und die verbleibende Unsicherheit beurteilen können.
Vollständige Quellen
Wissenschaftliche Forschung
- Lewis et al. (2020), Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, vollständiges PDFHerkunft und externes Gedächtnis: S. 1. Abruf und Faktizität: S. 7.
- Gao et al. (2023), Enabling Large Language Models to Generate Text with Citations, vollständiges PDFVollständigkeit und Relevanz: S. 4. ELI5-Ergebnis: S. 1. Grenzen: S. 10.
- Davis und Mahmoud (2026), Citation Constraints and Reference Hallucinations in Large Language Models, vollständiges PDFMethode: S. 1. Grenzen, Gültigkeit und Prüfbedarf: S. 10-11.
Praxisfall
- United States District Court, Mata v. Avianca, vollständiger SanktionsbeschlussGrundsatz und Tatsachen: S. 1. Analyse und Sanktionen: S. 29-31.
- CBS News, vollständiger Bericht vom 29. Mai 2023Journalistische Bestätigung von Einreichung, nicht existierenden Referenzen und Anhörung.