Puntos clave
- Una cita visible inicia el control, pero no lo completa.
- La recuperación documental mejora algunos resultados medidos, sin garantizar el respaldo de cada frase.
- Una referencia puede existir sin contener la prueba anunciada o ser correcta en otro contexto.
- La responsabilidad sigue siendo humana cuando la respuesta alimenta análisis, recomendaciones o expedientes de decisión.
Mostrar una fuente no basta para demostrar una afirmación
Un enlace permite al lector intentar comprobar la respuesta. El control solo es real cuando se cumplen varias condiciones sucesivas. Una referencia bien formateada puede no existir. Una página real puede ser inaccesible. Un documento accesible puede no contener el pasaje anunciado.
¿La fuente y sus metadatos corresponden a un documento real?
¿La persona encargada del control puede consultar el texto completo?
¿El pasaje relevante se identifica mediante página, sección o extracto verificable?
¿El pasaje respalda realmente la afirmación sin inversión ni generalización abusiva?
¿La fecha, población, contexto y límites permiten el uso previsto?
Estos niveles no hacen infalible una respuesta. Permiten localizar la incertidumbre en la referencia, el pasaje, la interpretación o su aplicación a la decisión.
Qué muestra realmente el estudio RAG de 2020
Lewis et al. combinan un modelo generativo con una memoria externa formada por pasajes de Wikipedia. El sistema recupera documentos pertinentes antes de producir la respuesta. Los autores presentan esa memoria como inspeccionable y más fácil de actualizar que el conocimiento únicamente paramétrico. El problema de procedencia aparece en la primera página del PDF científico completo.
En el conjunto FEVER, el documento de referencia aparece primero en el 71% de los casos comunicados y entre los diez primeros en el 90%. La recuperación suele ser útil, pero no es sistemática. En las tareas evaluadas, las generaciones RAG también se consideran más factuales y específicas que las del modelo BART comparado. Resultados y ejemplos: página 7 del PDF.
El estudio respalda el interés de una memoria documental externa en tareas y conjuntos de datos concretos. No demuestra que un asistente empresarial cite correctamente cada afirmación ni que la primera fuente recuperada sea la mejor para una decisión determinada.
Por qué las restricciones de cita no son suficientes
Davis y Mahmoud examinan 36 documentos de estilo académico producidos por cuatro sistemas y verifican las referencias con Crossref, OpenAlex y arXiv. El estudio prueba distintas instrucciones de cita para observar si unas restricciones más estrictas reducen los errores bibliográficos.
Las restricciones cambian la distribución de los errores sin eliminarlos. La verificación automatizada puede establecer que una referencia existe, pero no que la fuente respalde la afirmación precisa asociada. Este límite figura en las páginas 10 y 11 del PDF completo.
El alcance está limitado: indicaciones y modelos fijos, tres ejecuciones por condición y una muestra de escritura académica e ingeniería de software con pocos sistemas. El artículo completo también está disponible en la página de actas de PMLR. No permite deducir una tasa universal de error.
Un estudio de EMNLP de 2023 distingue la exhaustividad del respaldo proporcionado por los pasajes citados y la pertinencia de cada cita. Una respuesta puede citar documentos reales dejando afirmaciones sin respaldo o añadiendo referencias innecesarias.
En el conjunto ELI5 del estudio, incluso los mejores sistemas probados carecían de respaldo completo para sus citas en el 50% de los casos. El resultado pertenece a ese protocolo y no es una tasa universal. Los autores señalan además que la evaluación automática depende de la precisión del modelo que mide el respaldo. Método y límites: páginas 1, 4 y 10 del PDF completo.
Mata v. Avianca: la falta de verificación se convierte en falta de responsabilidad
En Mata v. Avianca, unos abogados presentaron un escrito con decisiones y citas inexistentes generadas por un sistema de inteligencia artificial. La resolución sancionadora señala que el uso de dicho sistema no sería por sí mismo impropio. El problema fue presentar contenido no comprobado como autoridad real y omitir la verificación profesional esperada.
La resolución judicial completa expone el principio en la página 1 y detalla la investigación insuficiente, las respuestas producidas y las sanciones en las páginas 29-31. Un artículo completo de CBS News ofrece un segundo relato factual.
El caso trata de obligaciones profesionales en un contexto judicial estadounidense y no define una regla general para cualquier decisión estratégica. Sí ilustra un mecanismo transferible: una salida aparentemente documentada puede ser más engañosa que una respuesta sin fuente si una referencia inventada recibe una autoridad inmerecida.
Cinco controles antes de utilizar una respuesta con fuentes
| Control | Pregunta | Prueba que conservar |
|---|---|---|
| Existencia | ¿Coinciden título, autores, organismo e identificador? | URL directa, DOI o identificador oficial. |
| Acceso directo | ¿Quien decide puede abrir el texto completo sin depender de un resumen generado? | PDF o artículo completo accesible. |
| Localización | ¿Dónde se encuentra exactamente el elemento invocado? | Página, sección, tabla o párrafo. |
| Respaldo | ¿La fuente afirma lo que la respuesta le atribuye? | Pasaje comprobado y reformulación fiel. |
| Alcance | ¿La fecha, el contexto y los límites son compatibles con la decisión? | Condiciones de uso y reservas explícitas. |
Una afirmación crítica debe comprobarse en la fuente primaria siempre que esté disponible. Un hecho de actualidad importante conviene contrastarlo con una segunda fuente directa o independiente. Si no se puede acceder al texto completo, la información debe señalarse como no verificada.
Qué aporta un corpus documental trazable y dónde se detiene
Un análisis documental puede partir de fuentes iniciales explícitas y un alcance acotado. Puede examinar actores, fuentes, cocitas y temas, distinguiendo elementos calculados de estimaciones. La procedencia del corpus hace más legible el recorrido documental que una síntesis separada de sus fuentes.
Este alcance no significa que un asistente verifique automáticamente si cada pasaje respalda cada afirmación. Tampoco demuestra una arquitectura RAG ni un sistema de decisión autónomo.
Un corpus acotado con procedencia visible facilita la exploración documental. Valorar la calidad de una fuente, su respaldo a la afirmación y su pertinencia para la decisión sigue siendo una tarea humana.
Qué permite y qué no permite concluir este análisis
- Una fuente visible es necesaria para un control reproducible.
- Distingue recuperación documental, validez bibliográfica y respaldo efectivo.
- No proporciona una puntuación universal de fiabilidad para asistentes de IA.
- Un enlace directo no hace que el contenido sea verdadero, actual o pertinente.
- Las fuentes visibles no son verificación automática ni prueba de una arquitectura RAG.
Una respuesta útil para decidir no es solo fluida y respaldada por fuentes. Debe permitir a una persona identificada recuperar la prueba, comprender su alcance, cuestionar la interpretación y evaluar la incertidumbre restante.
Fuentes completas
Investigación científica
- Lewis et al. (2020), Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, PDF completoProcedencia y memoria externa: p. 1. Recuperación y factualidad: p. 7.
- Gao et al. (2023), Enabling Large Language Models to Generate Text with Citations, PDF completoExhaustividad y pertinencia: p. 4. Resultado ELI5: p. 1. Límites: p. 10.
- Davis y Mahmoud (2026), Citation Constraints and Reference Hallucinations in Large Language Models, PDF completoMétodo: p. 1. Límites, validez y necesidad de verificación: pp. 10-11.
Caso real
- United States District Court, Mata v. Avianca, resolución sancionadora completaPrincipio y hechos: p. 1. Análisis y sanciones: pp. 29-31.
- CBS News, artículo completo del 29 de mayo de 2023Contraste periodístico del escrito, las referencias inexistentes y la vista.