Sonde di verità negli LLM: errore di misura o inganno?
Se una sonda lineare indica che un LLM nasconde la verità, potrebbe trattarsi di un errore di misura: lo studio sul fenomeno del perfect aliasing.
👁 114 letture
Nel dibattito sulla sicurezza dei modelli linguistici si fa spesso ricorso alle cosiddette sonde lineari (linear probe): classificatori che esaminano le attivazioni interne del modello per capire se l’IA “conosce” la verità anche quando afferma il contrario. Se una sonda ottiene risultati inferiori al caso casuale, la conclusione più comune è che il modello abbia nascosto la verità o smesso di rappresentarla. Uno studio di Dylan Jayabahu del settembre 2026 dimostra tuttavia che questa deduzione potrebbe essere del tutto affrettata.
Come funziona il problema del perfect aliasing
L’autore definisce questo fenomeno “perfect aliasing”, ovvero una perfetta sovrapposizione delle etichette. La situazione si verifica quando il modello deve comportarsi in modo differente a seconda dell’interlocutore. Nel contesto controllato analizzato nel documento, il modello deve comunicare un bit segreto a un alleato e il suo complemento a un rivale. Quando addestriamo la sonda esclusivamente sui contesti dell’alleato (i cosiddetti compliant contexts), l’etichetta “bit reale” e l’etichetta “risposta conforme al compito” coincidono perfettamente. La sonda non può distinguere quale dei due significati stia effettivamente misurando: dal punto di vista dello strumento di misura, due elementi distinti appaiono identici.
La conseguenza è puramente matematica e inevitabile: se le etichette si sovrappongono nei contesti dell’alleato, sui contesti del rivale - dove le etichette sono l’una il complemento dell’altra - le previsioni della sonda calibrata sull’alleato risulteranno invertite. L’autore formalizza questo passaggio dimostrando che la somma dei punteggi AUROC di una simile sonda sui contesti dell’alleato e del rivale è pari esattamente a 1.
I risultati dei test su Gemma-2 e Llama-3.1
Gli esperimenti sono stati condotti su due modelli differenti. Il primo è Gemma-2-9B, addestrato tramite apprendimento per rinforzo (RL) a mettere in atto un comportamento strategico: questo modello fornisce una risposta falsa in ogni singolo test valutato con il rivale. Una sonda calibrata solo sui contesti dell’alleato raggiunge un AUROC pari a 0,006 ± 0,005 nell’ultimo layer (media e deviazione standard calcolate su tre seed di training RL). Si tratta di un valore vicino allo zero, che sembrerebbe dimostrare in modo inequivocabile che il modello nasconde la verità. Eppure, la medesima sonda, quando viene calibrata con un approccio misto - combinando contesti dell’alleato e del rivale -, ottiene un AUROC di 1,000 sulle stesse identiche attivazioni registrate. L’informazione corretta non era mai sparita.
Il secondo modello analizzato è Llama-3.1-8B in versione instruct, privo di ulteriore addestramento RL. In questo caso, una sonda sovraddestrata su una specifica variante di prompt e una sonda congelata dalla variante di riferimento raggiungono entrambe un’accuratezza di 1,000 sui contesti dell’alleato. Tuttavia, sugli stessi test con il rivale, una delle due registra un AUROC di 0,080, mentre l’altra tocca quota 0,986. Lo stesso modello e le medesime attivazioni producono quindi esiti opposti a seconda della modalità di calibrazione della sonda.
I limiti evidenziati dall’autore
Jayabahu sottolinea con chiarezza alcuni limiti metodologici. Gli esperimenti cardine si basano su un gioco a token singolo in cui il bit segreto viene fornito direttamente nel prompt: la direzione rilevata dalla sonda potrebbe quindi riflettere una semplice copia di quel bit memorizzata nel contesto anziché una reale rappresentazione concettuale. Nelle varianti in cui il modello deve dedurre il bit per via logica, nessuna configurazione analizzata riesce a implementare un inganno sistematico e affidabile. L’autore precisa inoltre che l’indagine riguarda ciò che la sonda misura, non l’effettivo utilizzo di quell’informazione da parte dell’architettura. Infine, la calibrazione mista fa leva su un maggior numero di esempi ed etichette del rivale, motivo per cui la separazione dei dati non costituisce l’unico fattore alla base delle prestazioni superiori.
Google · Le tue fontiPiù in alto su Google con un solo clicAggiungi alle fonti preferite →Cosa cambia per la sicurezza dell’intelligenza artificiale
A nostro avviso, questa pubblicazione mette seriamente in discussione la prassi diffusa di utilizzare le sonde lineari come sentinelle dell’inganno negli LLM. Se una sonda può restituire valori prossimi allo zero non perché il modello nasconde l’informazione, ma a causa dell’indistinguibilità delle etichette usate nel training, un’ampia serie di esperimenti presenti in letteratura richiede una profonda revisione interpretativa. Non riteniamo che le sonde siano strumenti inutili; Jayabahu ha però individuato e quantificato un meccanismo preciso che conduce a errori di lettura sistematici. Si tratta di una lettura fondamentale per chiunque progetti sistemi di sicurezza basati sull’ispezione delle attivazioni interne.
Fonte: arXiv cs.AI: The Truth Was Never Gone: Perfect Aliasing in Compliant-Context Truth Probes (documento del 2026-10-09). Questa analisi si basa sul testo integrale del paper scientifico, non su ricostruzioni terze.
More on this from NITIDO
guide·Come creare giochi con Google Playground: cosa sappiamoGoogle Playground genera giochi 2D e 3D da semplici prompt. Ecco come funziona la piattaforma, i prompt pronti e il confronto con le alternative.