I modelli AI sanno più di quanto ricordano
Uno studio rivela che i modelli frontiera come Gemini e GPT-5 codificano il 95% dei fatti ma falliscono nel recall diretto nel 26-34% dei casi.
Nei test su Gemini-3-Pro e GPT-5, l’encoding dei fatti raggiunge il 95-98%, ma il richiamo diretto fallisce in un caso
Il protocollo WikiProfile distingue un modello che sa da un modello che risponde bene: misura l’encoding dei fatti nei pesi e il recall tramite prompt diretti. Su Gemini-3-Pro e GPT-5, il livello di encoding dei fatti è al 95–98%. Poi, alla richiesta diretta, il tasso di fallimento nel richiamo diretto è tra il 26 e il 34%.
Non stiamo parlando di una lacuna di addestramento. Google Research descrive la codifica quasi completa dei fatti nei modelli frontiera e, insieme, la loro difficoltà a richiamarli uno per uno.
Il sapere c’è. L’accesso no. È questa asimmetria a rendere rischioso ogni riepilogo automatico.
Il richiamo diretto inciampa, il thinking no: un fatto su nove resta fuori
Nel confronto tra Gemini-2.5-Pro, Gemini-3-Pro, Flash e GPT-5, l’encoding fattuale è vicino alla saturazione, mentre il recall non lo è. Anche attivando il ragionamento, il tasso di errore residuo di Gemini-3-Pro e GPT-5 rimane all’11–12%: significa che su conoscenza già codificata, il modello sbaglia ancora un fatto su nove.
Nei modelli frontiera, gli errori fattuali non nascono da assenza di dati, ma da conoscenza immagazzinata ma non accessibile in modo affidabile. È una differenza che chi usa riepiloghi automatici non può ignorare.
Stessa architettura, promesse opposte: i riepiloghi commerciali e le diagnosi
La distanza tra ricerca e prodotto si accorcia in modo pericoloso. Google ha inserito i riepiloghi AI in Google Ads e Analytics nella pagina principale, per evidenziare variazioni di performance e tendenze. Bastano i prompt di testo per report visuali per chiedere al sistema di spiegare il “perché” dietro i dati. Il motore è Gemini, lo stesso modello che nel test non recupera una percentuale compresa tra il 26 e il 34% dei fatti codificati.
Il caso clinico è ancora più esplicito. Le prestazioni di livello esperto di AMIE emergono da uno studio randomizzato controllato con consultazioni simulate. AMIE Video poggia su Gemini e Project Astra. Se il richiamo diretto fallisce nel 26–34% dei casi e il thinking sbaglia l’11–12%, una consultazione medica simulata che sembra esperta può comunque perdere pezzi di sapere già presente nei pesi.
Il collo di bottiglia si è spostato: dal training al retrieval
Per chi costruisce infrastrutture su questi modelli, il dato tecnico è questo: lo spostamento del collo di bottiglia dalla fase di acquisizione della conoscenza alla fase di utilizzo cambia i requisiti di sistema. Non basta una benchmark accuracy sul knowledge; serve tracciare il recall sotto carico, separare le query dirette da quelle che richiedono thinking, e inserire un retrieval esplicito prima della generazione di riepiloghi.
Fidarsi di un riepilogo generato da Gemini, oggi, significa fidarsi di un accesso intermittente a una base di conoscenza al 95%. Il punto non è il modello: è dove metti il controllo.
