GPT-6 Astra: test in polacco, codice e 150.000 caratteri

👁 117 letture

Il 4 settembre GPT-6 Astra è arrivato su OpenRouter. La stessa sera l’abbiamo messo alla prova con tre serie di compiti verificabili oggettivamente, confrontandolo con tre concorrenti: Claude Fable 5.1 allo stesso prezzo, Claude Opus 5 a metà tariffa e Gemini 3.8 Flash, entrato in listino due giorni prima a una frazione del costo degli altri.

Le tre serie: lingua polacca (sei compiti di grammatica, numeri, maiuscole, participi, punteggiatura e linguaggio semplice - gli stessi che usiamo da agosto), codice (tre funzioni PHP eseguite su test nascosti) e ago nel pagliaio (cinque informazioni nascoste in 150.000 caratteri di testo polacco). Tutto a temperatura 0,2, un’unica esecuzione, costi calcolati dalla fatturazione API. Premessa: un’unica esecuzione non è un benchmark con centinaia di ripetizioni, ma mostra come si sono comportati i modelli nel primo giorno di utilizzo reale.

Test linguistico in polacco: solo Gemini ha fatto tutto giusto

La sorpresa più grande non riguarda Astra. Gemini 3.8 Flash, un modello di fascia inferiore, è stato l’unico a correggere le maiuscole in pieno rispetto della norma polacca. Astra e Fable 5.1 hanno lasciato maiuscole errate, Opus 5 ha fatto errori aggiuntivi. Sono esattamente gli errori più frequenti nei documenti ufficiali polacchi, quindi non sorprende che i modelli li riproducano.

Astra ha risolto tutti e sei i compiti ed è stata la più veloce, con una media di 6,5 secondi per risposta. Per confronto, al lancio di Fable 5.1 tre giorni prima, proprio il modello di Anthropic si era bloccato sui numerali; questa volta si è bloccato Opus 5, su un compito di linguaggio burocratico, rimanendo in attesa fino all’interruzione della connessione dopo quattro minuti. Il bloccarsi su compiti linguistici brevi sembra essere una caratteristica della famiglia Claude, non un incidente isolato.

Alla stessa temperatura i modelli non sono ripetibili. Alla prima misurazione Fable 5.1 aveva scritto una parola con la minuscola, questa volta con la maiuscola. La valutazione di un’unica esecuzione è quindi la valutazione di quella esecuzione, non del modello in generale.

Codice: tutti 19 su 19, compiti troppo facili

Tre funzioni PHP: slug da testo polacco (con traslitterazione dei caratteri speciali), forma corretta del sostantivo dopo i numerali (con trappole come 12, 22, 101, 124) e fusione di intervalli sovrapposti. Ogni risposta è stata eseguita su test nascosti: 19 asserzioni in totale.

Risultato: quattro modelli, 19 su 19 per ciascuno. Onestamente, è un fallimento del test, non un successo dei modelli. Compiti che ancora un anno fa potevano sorprendere (i numerali polacchi sono una trappola classica), oggi vengono risolti senza errori anche dal modello più economico. Le differenze sono rimaste solo nei costi: Gemini 3.8 Flash 0,014 dollari per tre compiti, Opus 5 0,039, Astra 0,040, Fable 5.1 0,048. Il prossimo test di codice dovrà essere significativamente più difficile per misurare qualcosa.

Ago nel pagliaio: tutti hanno trovato tutto, ma i costi differiscono di venti volte

In 150.000 caratteri di testo polacco abbiamo inserito cinque informazioni inventate (codice prenotazione, frequenza, numero corsia, password con caratteri speciali, tempo di consegna) in posizioni diverse, dal 3% al 96% della lunghezza, e abbiamo posto cinque domande.

Tutti hanno trovato tutto, quindi parità qualitativa. Interessante è la colonna dei token: lo stesso testo polacco corrisponde a 45.882 token per Astra e 43.350 per Gemini, ma 73.063 per entrambi i modelli Claude. Il tokenizer di Anthropic divide il polacco in quasi il 60% di pezzi in più. A parità di tariffa per milione di token, significa che per lo stesso lavoro in polacco Fable 5.1 costa realmente più di Astra, nonostante il listino sia identico. Questa “tassa sui token” la calcoliamo da tempo nel calcolatore dei costi, e qui la vediamo su un singolo compito: 0,58 dollari per Astra, 0,73 per Fable, 0,03 per Gemini.

Conclusioni

Primo, Astra è la più veloce in questi compiti e non si è mai bloccata, cosa che dopo le esperienze con la famiglia Claude ha per noi un peso pratico. Secondo, nel test linguistico in polacco non è migliore dei modelli più economici: ha fatto lo stesso errore di Fable 5.1 e ha perso contro Gemini 3.8 Flash, che è costato venti volte meno. Terzo, i vantaggi di Astra nei benchmark ufficiali - matematica, ragionamento astratto e cybersicurezza - non emergono affatto nel lavoro editoriale quotidiano in polacco, quindi questo test non li misura e non pretende di farlo.

La conclusione per chi scrive e redige in polacco è la stessa emersa nel test di Fable 5.1: la fascia più costosa non offre vantaggi in questo lavoro, e tra i modelli economici è apparso un candidato che lo fa senza errori. Per chi ha bisogno di matematica, agenti e lunghi compiti di ricerca, questo test non dice nulla e bisogna attendere misurazioni indipendenti. I dati completi del modello li abbiamo raccolti nella guida su GPT-6 Astra.

Il metodo e le risposte grezze di tutti i modelli sono registrati; se vuoi vederli o proporre compiti più difficili per il prossimo round, scrivici.

// continua a leggereHiggsfield codice sconto: promozioni e come pagare menoMagazineCodice QR in Canva gratis: statico o dinamico e come farlo beneMagazineSeedream 5.0 Pro e 4.5: prezzi, test e caratteri specialiMagazine