Perché un assistente di analisi deve mostrare le fonti

Un link consente al lettore di tentare una verifica. Il controllo è reale solo se più condizioni successive sono soddisfatte. Una citazione ben formattata può non esistere. Una pagina reale può essere inaccessibile. Un documento accessibile può non contenere il passaggio annunciato.

Questi livelli non rendono la risposta infallibile. Permettono di individuare l’incertezza nella referenza, nel passaggio, nell’interpretazione o nella sua applicazione alla decisione.

Lewis et al. combinano un modello generativo con una memoria esterna composta da passaggi di Wikipedia. Il sistema recupera documenti pertinenti prima di produrre la risposta. Gli autori descrivono la memoria come ispezionabile e più facile da aggiornare rispetto a conoscenze solo parametriche. Il problema della provenienza compare a pagina 1 del PDF scientifico completo.

Nel dataset FEVER, il documento di riferimento appare al primo posto nel 71% dei casi riportati e tra i primi dieci nel 90%. Il recupero è spesso utile, ma non sistematico. Nelle attività valutate, le generazioni RAG risultano anche più fattuali e specifiche rispetto al modello BART confrontato. Risultati ed esempi sono a pagina 7 del PDF.

Davis e Mahmoud esaminano 36 documenti in stile accademico prodotti da quattro sistemi e verificano le referenze con Crossref, OpenAlex e arXiv. Lo studio prova diverse istruzioni di citazione per osservare se vincoli più rigidi riducono gli errori bibliografici.

I vincoli modificano la distribuzione degli errori senza eliminarli. La verifica automatica può stabilire che una referenza esiste, ma non che sostenga l’affermazione precisa a cui è associata. Il limite è descritto alle pagine 10 e 11 del PDF completo.

Il perimetro è limitato: prompt e modelli fissi, tre esecuzioni per condizione e un campione relativo a scrittura accademica e ingegneria del software con pochi sistemi. L’articolo è disponibile anche sulla pagina degli atti PMLR. Non consente di dedurre un tasso universale di errore.

Uno studio EMNLP del 2023 distingue la completezza del sostegno offerto dai passaggi citati dalla pertinenza di ogni citazione. Una risposta può citare documenti reali lasciando affermazioni senza sostegno o aggiungendo referenze inutili.

Nel dataset ELI5 dello studio, anche i migliori sistemi testati non avevano un sostegno completo per le citazioni nel 50% dei casi. Il dato appartiene a quel protocollo, non è universale. Gli autori indicano inoltre che la valutazione automatica dipende dalla precisione del modello usato per misurare il sostegno. Metodo e limiti: pagine 1, 4 e 10 del PDF completo.

Un’affermazione critica va controllata sulla fonte primaria quando disponibile. Un fatto di attualità importante dovrebbe essere verificato con una seconda fonte diretta o indipendente. Se il testo integrale non è accessibile, l’informazione va segnalata come non verificata.

Cosa offre un corpus documentale tracciabile e dove si ferma

Un’analisi documentale può partire da fonti iniziali esplicite e da un perimetro definito. Può esaminare attori, fonti, co-citazioni e temi distinguendo elementi calcolati e stime. La provenienza rende il percorso documentale più leggibile di una sintesi separata dalle sue fonti.

Questo perimetro non significa che un assistente verifichi automaticamente il sostegno di ogni passaggio a ogni affermazione. Non dimostra nemmeno un’architettura RAG o un sistema decisionale autonomo.

• Una fonte visibile è necessaria per un controllo riproducibile.
• Recupero documentale, validità bibliografica e sostegno effettivo restano distinti.
• Non fornisce un punteggio universale di affidabilità degli assistenti IA.
• Un link diretto non rende il contenuto automaticamente vero, attuale o pertinente.
• Le fonti visibili non sono una verifica automatica né la prova di un’architettura RAG.

Una risposta utile alla decisione non è soltanto fluida e corredata di fonti. Deve permettere a una persona identificata di ritrovare la prova, comprenderne il perimetro, contestare l’interpretazione e valutare l’incertezza residua.