Gemini 3.8 Flash: test finestra contesto con testo polacco
Abbiamo nascosto una frase in 90.000 caratteri di testo e chiesto a cinque modelli di trovarla. Tre ci sono riusciti, uno non ha risposto due volte.
👁 116 letture
Ogni produttore oggi si vanta di finestre di contesto da un milione di token. Sembra la promessa di poter caricare un intero libro e fare domande sui dettagli. Abbiamo deciso di verificare se funziona con testo polacco, iniziando con cautela: non da un milione, ma da venticinquemila token, circa il tre percento della finestra promessa.
Già a questo livello, due modelli su cinque hanno fallito. Uno non ha trovato la frase nascosta, l’altro non ha risposto per due volte, nonostante cinque minuti di attesa.
Come funziona il test della finestra di contesto
Abbiamo costruito un lungo testo in polacco dai nostri articoli pubblicati, quindi linguaggio naturale e non riempitivo generato. Novantamila caratteri di testo continuo.
Al centro abbiamo nascosto una frase che non dovrebbe esserci: un’informazione su un codice di servizio per una cassetta in soffitta. La frase è stata inserita a tre profondità: dopo il dieci percento del testo, a metà e dopo il novanta percento. Poi abbiamo chiesto al modello di fornire solo il codice.
Questo è un test su una cosa sola: se il modello ha effettivamente letto tutto o solo l’inizio e la fine.
Risultati del test
| Modello | Risposte corrette | Costo tre domande | Tempo medio |
|---|---|---|---|
| Gemini 3.8 Flash | 3 / 3 | 0,05889 USD | 3,3 s |
| Kimi K3 | 3 / 3 | 0,23751 USD | 5,1 s |
| GPT-6 Astra | 3 / 3 | 1,00205 USD | 2,0 s |
| DeepSeek V4 Flash | 2 / 3 | 0,00777 USD | 4,0 s |
| GLM 5.3 Flash | 1 / 3 | 0,00429 USD | 5,4 s |
L’intero test è costato 1,31 dollari.
Tre su cinque hanno superato il test, ma con costi molto diversi
Gemini 3.8 Flash, Kimi K3 e GPT-6 Astra hanno trovato la frase nascosta a ogni profondità. La differenza sta nel conto finale.
GPT-6 Astra ha addebitato 1,00 dollari per tre domande. Gemini 3.8 Flash ha fatto esattamente lo stesso per 0,059, cioè diciassette volte più economico. Per una singola domanda sono trentatré centesimi di differenza. Per uno strumento che cerca documenti ogni giorno, è la differenza tra un conto che non si nota e uno che bisogna giustificare.
Astra ha però un vantaggio che nel lavoro in tempo reale può essere decisivo: ha risposto in due secondi, il più veloce di tutti e cinque, indipendentemente da dove abbiamo nascosto la frase.
GLM 5.3 Flash non ha risposto due volte su tre
Il modello che ha vinto il nostro test di grammatica polacca qui è risultato il peggiore del gruppo. Con la frase nascosta al dieci percento e al novanta percento ha superato il limite di cinque minuti e non ha restituito nulla. Ha trovato solo quella inserita esattamente a metà.
Questa è già la terza volta che questo stesso modello ci delude nello stesso modo. In precedenza ha bruciato l’intero limite di token sul ragionamento e ha restituito zero parole quando gli abbiamo chiesto un articolo, e nel test di nove compiti ha restituito tre volte una risposta vuota e ha impiegato 353 secondi.
La causa è sempre la stessa: in questo modello non è possibile disattivare il ragionamento. Con un compito breve questo aumenta solo il conto. Con un input più lungo può bloccare completamente la risposta.
La conclusione è scomoda, ma va tratta: un modello può essere molto buono con il polacco e allo stesso tempo non essere adatto a nulla che lavori su testi lunghi.
La scoperta più interessante: stesso testo, numero diverso di token
Abbiamo inviato a tutti i modelli un testo identico. Ognuno lo ha conteggiato diversamente, perché ognuno divide il polacco in token a modo suo.
| Modello | Token per lo stesso testo | Rispetto al migliore |
|---|---|---|
| Gemini 3.8 Flash | 24.857 | punto di riferimento |
| GPT-6 Astra | 26.662 | 7% in più |
| GLM 5.3 Flash | 27.757 | 12% in più |
| DeepSeek V4 Flash | 27.998 | 13% in più |
| Kimi K3 | 35.642 | 43% in più |
Questo è un costo nascosto di cui nessuno parla quando si confrontano i listini prezzi. Kimi K3 ha bisogno del quarantatré percento in più di token rispetto a Gemini per lo stesso testo polacco. Con una tariffa identica per milione di token, questo significa un conto più alto del quarantatré percento per esattamente lo stesso lavoro.
Il polacco qui è in una situazione peggiore dell’inglese, perché i modelli sono addestrati principalmente su testi inglesi, e le nostre desinenze flessive si dividono in più pezzi. Peggiore è la divisione, più paghi per la stessa frase.
Una sorpresa che non sappiamo spiegare
DeepSeek V4 Flash non ha trovato la frase nascosta al dieci percento del testo, cioè vicino all’inizio, ma l’ha trovata senza problemi a metà e alla fine. È il contrario di quanto suggerisce l’intuizione, perché l’inizio di solito è il più facile.
Non abbiamo una spiegazione e non intendiamo inventarla. Un solo tentativo per profondità è troppo poco per parlare di regolarità. Lo registriamo come fatto di questa misurazione, non come regola.
Cosa non dice questo test
Non abbiamo testato un milione di token, solo venticinquemila. Non sappiamo quindi come si comportano questi modelli con la finestra completa, e nessuno lo sa finché non paga per verificarlo.
Non abbiamo nemmeno testato la comprensione, solo il ritrovamento. Trovare una singola frase è il compito più semplice possibile su un testo lungo. Domande più difficili, che richiedono di collegare informazioni da più punti, andrebbero peggio per tutti.
E una cosa da ricordare in ogni confronto del genere: il prezzo sulla scheda del modello potrebbe non essere il prezzo che paghi, perché lo stesso modello è ospitato da una dozzina di aziende con le proprie tariffe.
Google · Le tue fontiPiù in alto su Google con un solo clicAggiungi alle fonti preferite →Conclusioni pratiche
Per cercare documenti in polacco, usa Gemini 3.8 Flash. Tutte le risposte corrette, tre secondi e un conto diciassette volte inferiore al modello più costoso con lo stesso risultato. Inoltre, la migliore divisione del polacco in token, che riduce il costo ancora prima di fare la domanda.
Non dare per scontato che la finestra di contesto dichiarata funzioni. Verificalo sul tuo materiale, nascondendoci qualcosa che non dovrebbe esserci. Richiede un quarto d’ora e risolve più di tutte le tabelle dei produttori.
Conta i token, non i caratteri. Nella scelta del modello per lavorare su testi polacchi, la differenza nella divisione può costare più della differenza nel listino prezzi.
Quanto costa realmente lavorare con questi modelli nella scrittura, e non nella lettura, l’abbiamo misurato separatamente nel testo su quanto costa un articolo scritto dall’AI.
More on this from NITIDO
magazine·I nuovi modelli AI ti tolgono la scelta: test su 18 modelliSette modelli su diciotto rifiutano di disattivare il reasoning con errore 400. Tutti e sette sono di ultima generazione. Paghi per testo che non vedi.