Scala di confidenza LLM: 0-20 funziona meglio di 0-100

👁 117 letture

Quando chiediamo a un modello linguistico quanto sia sicuro della propria risposta, lo schema tipico prevede che il modello restituisca un numero compreso tra 0 e 100. Sembra ragionevole. Il problema è che nessuno finora si era chiesto se questa scala fosse effettivamente efficace. Yuyang Dai e Yuxia Wang in un lavoro pubblicato a marzo 2026 (e aggiornato fino a settembre 2026) sostengono che si tratti di una grave lacuna.

Il problema dei numeri tondi

Gli autori hanno testato sei modelli linguistici su tre dataset e hanno scoperto qualcosa di preoccupante: oltre il 78% delle risposte si concentrava su appena tre valori tondi. In altre parole, i modelli non utilizzano l’intera scala disponibile - invece gravitano verso numeri comodi e tondi come 50, 80 o 90. Questo significa che la maggior parte delle gradazioni di certezza rimane in pratica inutilizzata.

Gli autori chiamano questo fenomeno “discretizzazione” e lo considerano un problema serio per chiunque cerchi di valutare l’incertezza dei modelli in configurazioni black-box, cioè senza accesso alle probabilità interne del modello.

Tre dimensioni dell’esperimento

Per indagare cosa causa questo problema e se sia possibile risolverlo, i ricercatori hanno manipolato sistematicamente le scale di confidenza lungo tre dimensioni. La prima è la granularità - quanto è dettagliata la scala. La seconda è la distribuzione dei limiti - dove inizia e finisce la scala. La terza è la regolarità dell’intervallo - se la scala è tipica o irregolare.

Per valutare la qualità della metacognizione (cioè quanto bene il modello sa cosa sa), gli autori hanno utilizzato una misura chiamata meta-d’. Il documento non spiega in dettaglio cosa sia esattamente questa misura oltre al nome e all’applicazione.

Cosa funziona e cosa no

I risultati sono concreti. La scala 0-20 migliora costantemente la cosiddetta efficienza metacognitiva rispetto al formato standard 0-100. Questa è la principale conclusione pratica del lavoro.

D’altra parte, la “compressione dei limiti” - cioè restringere la scala impostando gli estremi più vicini al centro - peggiora i risultati. Gli autori notano anche che la preferenza per i numeri tondi non scompare nemmeno quando la scala è irregolare. I modelli cercano comunque valori tondi, anche se la scala tecnicamente non li privilegia.

Conclusione metodologica

Gli autori formulano un postulato principale: il design della scala di confidenza influenza direttamente la qualità dell’incertezza verbalizzata e dovrebbe essere trattato come una variabile sperimentale a pieno titolo nella valutazione dei modelli linguistici. In altre parole - se stai studiando quanto bene un modello valuta la propria certezza, devi riportare quale scala hai usato, perché fa la differenza.

Il lavoro conta 20 pagine. Gli autori non forniscono nell’abstract informazioni su quali modelli specifici abbiano testato, quali fossero i dataset né numeri dettagliati sul miglioramento derivante dalla scala 0-20 - queste informazioni non sono presenti nel testo fornito.

Cosa significa in pratica

A nostro avviso questa ricerca ha un significato pratico, anche se circoscritto. Se stai costruendo un sistema in cui il modello valuta autonomamente la propria certezza e trasmette questa valutazione - all’utente o a un altro componente - allora la scelta della scala non è una questione estetica. Il risultato che mostra come oltre tre quarti delle risposte si concentri su tre numeri con la scala 0-100 suggerisce che questa scala semplicemente spreca potenziale e dà un’illusione di precisione che non esiste. La raccomandazione di provare la scala 0-20 è semplice da implementare e - se i risultati dello studio si confermano - vale la pena verificarla. Peccato che l’abstract non dia accesso ai dettagli, perché senza sapere quali modelli e dati sono stati testati è difficile valutare quanto ampiamente si possano generalizzare queste conclusioni.

Fonte: arXiv cs.AI: Rescaling Confidence: What Scale Design Reveals About LLM Metacognition (documento del 12-09-2026). Questa analisi è stata realizzata sulla base del testo completo del documento, non di resoconti di altri media.

// continua a leggereRedazione con l’IA: gestire un sito di notizie come partnerMagazineL’AI ucciderà la SEO? Perché questa guerra non esisteMagazineTribunale Tokyo: clonare voce attore con AI viola i dirittiMagazine

Kinetyra