Vai al contenuto
di tendenza
// benchmark proprietario

Quanto ricorda davvero un modello AI

Un milione di token di contesto suona come la promessa che il modello leggerà un intero libro e ricorderà tutto. La realtà è diversa: una grande finestra indica quanto puoiinserire, non quanto il modello troverà. Lo verifico con un test proprietario, in italiano: nascondo in un documento lungo un codice univoco e chiedo di trovarlo. Il risultato è binario - o fornisce il codice, o no.

ultima esecuzione: 2026-11-09 05:48:08 · due occultamenti per lunghezza (25% e 75% del documento) · corrispondenza esatta

Model8 mila token32 mila token128 mila token
Claude Opus 5 nessuna rispostalimite di tempo superatonessuna rispostalimite di tempo superatonessuna rispostalimite di tempo superato
GPT-5.6 Terra nessuna rispostalimite di tempo superatonessuna rispostalimite di tempo superatonessuna rispostalimite di tempo superato
Kimi K3 nessuna rispostalimite di tempo superatonessuna rispostalimite di tempo superatonessuna rispostalimite di tempo superato
DeepSeek V4 Pro nessuna rispostalimite di tempo superatonessuna rispostalimite di tempo superatonessuna rispostalimite di tempo superato

Come funziona il test

Costruisco un documento con paragrafi numerati dal contenuto neutro (verbali d'archivio), e in un punto specifico inserisco una frase con un codice impossibile da indovinare o apprendere, perché generato dal checksum della data e dai parametri del test:

Paragrafo speciale. Il codice di accesso all'archivio di backup è NB-A3F91C e vale esclusivamente in questo documento.

Poi chiedo al modello di fornire solo il codice. Lo nascondo due volte: una a un quarto del documento, una a tre quarti - perché i modelli di solito ricordano meglio l'inizio e la fine, perdendo il centro. "Trovato" significa due su due, "parzialmente" uno, "perso" zero. Misuro anche il tempo di risposta, perché con contesti lunghi può crescere da secondi a minuti, il che conta se ci costruisci un prodotto.

Cosa non misura questo test

Trovare un fatto è il compito più semplice in un contesto lungo. Più difficile è collegare diverse informazioni sparse nel documento e ragionare sull'insieme - un modello che trova il codice può comunque perdere il filo con una domanda che richiede di mettere insieme tre paragrafi da punti diversi. Tratta questo risultato come un minimo, non un massimo: se il modello non supera questo test, sicuramente non supererà uno più difficile. Nelle tue implementazioni verifica sempre sui tuoi documenti, perché la struttura del testo conta.

Ripeto il test ogni settimana e archivio i risultati - così vedremo se i modelli dopo aggiornamenti silenziosi iniziano a perdere più di prima. I prezzi dei modelli di questa tabella li trovi incalcolatore dei costi, e i loro profili completi negli hub:Opus 5, GPT-5.6, Kimi K3. Citando i risultati, indica "nitidezza.it, test finestra di contesto" e la data di esecuzione.

// newsletter

Classifiche come queste direttamente via mail, una volta a settimana

Zero spam, ti cancelli con un clic.

Mi iscrivo →
// mappa del sito
nitido in numeri 0testi in archivio0notizie degli ultimi 7 giorni0modelli video nell'osservatorio
× ‹ ingrandimento ›