À retenir
- Une citation visible permet de commencer le contrôle ; elle ne l’achève pas.
- La récupération documentaire améliore certains résultats évalués, mais ne garantit pas que chaque phrase soit soutenue.
- Une référence peut exister sans contenir la preuve annoncée, ou être exacte dans un autre contexte.
- La responsabilité reste humaine lorsque la réponse alimente une analyse, une recommandation ou un dossier de décision.
Montrer une source ne suffit pas à démontrer une affirmation
La présence d’un lien change profondément la situation : le lecteur peut tenter de contrôler la réponse. Mais ce contrôle n’est réel que si plusieurs conditions successives sont réunies. Une référence bien formatée peut être inexistante ; une page existante peut être inaccessible ; un document accessible peut ne pas contenir le passage annoncé.
La source et ses métadonnées correspondent-elles à un document réel ?
Le texte intégral est-il consultable par la personne qui doit contrôler ?
Le passage pertinent est-il indiqué par une page, une section ou un extrait vérifiable ?
Le passage soutient-il réellement l’affirmation, sans inversion ni généralisation abusive ?
La date, la population, le contexte et les limites autorisent-ils l’usage envisagé ?
Ces cinq niveaux ne rendent pas une réponse infaillible. Ils permettent d’identifier où se situe l’incertitude : dans la référence, dans le passage, dans l’interprétation ou dans la transposition au cas de décision.
Ce que l’étude RAG de 2020 montre vraiment
L’article de Lewis et al. combine un modèle génératif avec une mémoire externe composée de passages de Wikipédia. L’objectif est de récupérer des documents pertinents avant de produire la réponse. Les auteurs présentent cette mémoire comme inspectable et plus facile à actualiser que des connaissances uniquement contenues dans les paramètres du modèle. Le problème de la provenance est posé dès la première page du PDF scientifique complet.
Sur le jeu de données FEVER, le document de référence apparaît en première position dans 71 % des cas et parmi les dix premiers dans 90 % des cas rapportés. Ces résultats montrent une récupération souvent utile, mais pas systématique. Sur les tâches évaluées, les générations RAG sont également jugées plus factuelles et plus spécifiques que celles du modèle BART comparé. Les résultats et exemples sont détaillés à la page 7 du PDF.
L’étude soutient l’intérêt d’une mémoire documentaire externe sur des tâches et jeux de données précis. Elle ne démontre pas qu’un assistant d’entreprise cite correctement chaque affirmation, ni que la première source récupérée est nécessairement la meilleure pour une décision donnée.
Une étude de 2026 montre pourquoi la contrainte de citation ne suffit pas
Davis et Mahmoud examinent 36 documents de style académique produits par quatre systèmes et vérifient les références avec Crossref, OpenAlex et arXiv. Leur étude teste différentes consignes de citation afin d’observer si des contraintes plus strictes réduisent les erreurs bibliographiques.
Les auteurs constatent que les contraintes déplacent la distribution des erreurs sans les faire disparaître. Surtout, leur vérification automatisée peut établir qu’une référence existe, mais pas que cette source soutient l’affirmation précise à laquelle elle est associée. Cette limite figure aux pages 10 et 11 du PDF scientifique complet.
La portée est encadrée : prompts et modèles sont fixes, chaque condition comporte trois exécutions, et l’échantillon concerne l’écriture académique et l’ingénierie logicielle avec un nombre limité de systèmes. L’article complet est également disponible sur la page des actes PMLR. Il serait excessif d’en déduire un taux universel d’erreur pour tous les assistants ou tous les domaines.
Mata v. Avianca : le défaut de vérification devient un défaut de responsabilité
Dans l’affaire Mata v. Avianca, des avocats ont déposé un mémoire contenant des décisions et citations inexistantes générées par un système d’intelligence artificielle. L’ordonnance de sanction souligne que l’usage d’un tel système ne serait pas, en lui-même, répréhensible. Le problème tient à la présentation de contenus non vérifiés comme des autorités réelles et au défaut de contrôle attendu des professionnels.
L’ordonnance complète du tribunal expose le principe dès la page 1, puis détaille l’enquête insuffisante, les réponses produites et les sanctions aux pages 29 à 31. Un article complet de CBS News fournit un second récit factuel du dossier et de son contexte.
Cette affaire concerne une obligation professionnelle dans un contexte judiciaire américain. Elle ne définit pas à elle seule une règle générale pour toute décision stratégique. Elle illustre cependant un mécanisme transposable : une sortie apparemment documentée peut devenir plus trompeuse qu’une réponse sans source si la référence inventée reçoit une autorité qu’elle ne mérite pas.
Cinq contrôles avant d’utiliser une réponse sourcée
| Contrôle | Question | Preuve à conserver |
|---|---|---|
| Existence | Le titre, les auteurs, l’organisme et l’identifiant correspondent-ils ? | URL directe, DOI ou identifiant officiel. |
| Accès direct | Le décideur peut-il ouvrir le texte complet, sans dépendre d’un résumé généré ? | PDF ou article complet accessible. |
| Localisation | Où se trouve exactement l’élément invoqué ? | Page, section, tableau ou paragraphe. |
| Soutien | La source affirme-t-elle bien ce que la réponse lui attribue ? | Passage contrôlé et reformulation fidèle. |
| Périmètre | La date, le contexte et les limites sont-ils compatibles avec la décision ? | Conditions d’application et réserves explicites. |
Pour une affirmation critique, le contrôle doit être fait sur la source primaire chaque fois qu’elle est disponible. Une actualité importante gagne à être recoupée avec une deuxième source directe ou indépendante. Si le texte intégral n’est pas accessible, l’information doit être signalée comme non vérifiée, et non transformée en certitude par la qualité de la rédaction.
Ce qu’apporte un corpus documentaire traçable, et ses limites
Une analyse documentaire peut partir de sources de départ explicites et d’un périmètre borné. Elle peut examiner les acteurs, les sources, les co-citations et les thèmes, tout en distinguant les éléments calculés des estimations. La provenance du corpus rend le chemin documentaire plus lisible qu’une synthèse détachée de ses sources.
Ce périmètre ne signifie pas qu’un assistant vérifie automatiquement qu’un passage soutient chaque affirmation. Il ne démontre pas davantage qu’il repose sur une architecture RAG ou qu’il produit une décision autonome.
Un corpus borné avec sa provenance facilite l’exploration documentaire. L’évaluation de la qualité d’une source, de son adéquation à une affirmation et de sa pertinence pour la décision reste une opération humaine.
Ce que cette analyse permet, et ne permet pas, de conclure
- Elle établit qu’une source visible est nécessaire à un contrôle reproductible.
- Elle distingue récupération documentaire, validité bibliographique et soutien réel d’une affirmation.
- Elle ne fournit pas un score universel de fiabilité pour les assistants d’IA.
- Elle ne suppose pas qu’un lien direct rend son contenu vrai, actuel ou pertinent.
- Elle ne présente pas la visibilité des sources comme une vérification automatique ni comme la preuve d’une architecture RAG.
Une réponse utile à la décision n’est pas seulement fluide et sourcée. Elle doit permettre à une personne identifiée de retrouver la preuve, comprendre sa portée, contester l’interprétation et décider si l’incertitude résiduelle est acceptable.
Sources intégrales
Recherche scientifique
- Lewis et al. (2020), Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, PDF completProvenance et mémoire externe : PDF p. 1. Résultats de récupération et factualité : PDF p. 7.
- Davis et Mahmoud (2026), Citation Constraints and Reference Hallucinations in Large Language Models, PDF completMéthode : PDF p. 1. Limites, validité et besoin de vérification : PDF p. 10-11.
Cas réel
- United States District Court, Mata v. Avianca, ordonnance de sanction complètePrincipe et faits : PDF p. 1. Analyse et sanctions : PDF p. 29-31.
- CBS News, compte rendu complet du 29 mai 2023Recoupement journalistique du dépôt, des références inexistantes et de l’audience.