GPT-6 Astra benchmark: 3 test in cui perde contro i rivali
Abbiamo analizzato tutti i benchmark di GPT-6 Astra. Nella maggior parte domina, ma ci sono tre test in cui Claude e altri modelli fanno meglio.
👁 119 letture
Ad ogni lancio di un nuovo modello si ripete lo stesso rituale. Il produttore pubblica grafici in cui la sua novità domina su tutto, i media riprendono i tre numeri più spettacolari, e dopo una settimana si scopre che il quadro era più complesso. Abbiamo quindi deciso di esaminare la tabella completa dei risultati di GPT-6 Astra, incluse le voci che non compaiono nei titoli.
Partiamo da una constatazione onesta: nella maggior parte dei test il vantaggio di questo modello è reale e in alcuni casi enorme. Ma ci sono tre punti in cui non vince, e proprio questi dicono più sul mercato dei record stessi.
| Test | GPT-6 Astra | Fable 5.1 | Opus 5 | GPT-5.6 Sol |
|---|---|---|---|---|
| FrontierMath Tier 4 | 97,6% | 87,8% | 73,2% | - |
| ARC-AGI-3 | 99,9% | - | 30,2% | 7,8% |
| Terminal-Bench 4.0 | 57,7 | 55,8 | 52,3 | 37,3 |
| AutomationBench | 41,4 | 31,4 | 26,9 | 18,1 |
| ExploitBench | 100% | 70,0% | - | 78,5% |
| SRE-Bench | 88,0% | 12,5% | - | 55,9% |
| Humanity’s Last Exam (con strumenti) | 57,2% | 65,0% | 63,6% | - |
| FrontierCode 1.1 Extended | 64,5% | - | - | - |
| HealthBench Professional | 63,4% | 56,6% | - | 60,5% |
| MRCR v2, 8 aghi, 512K-1M | 96,3% | - | - | 73,8% |
Prima sconfitta: l’esame dove conta la conoscenza ampia
Humanity’s Last Exam è un test composto da domande molto difficili di molte discipline, pensato in modo che non si possa superare solo con abilità di calcolo. Nella variante con accesso agli strumenti, Astra ha ottenuto il 57,2 percento. Claude Fable 5.1 ha ottenuto il 65,0 percento, il più vecchio Fable 5 il 63,8 percento, e Opus 5 il 63,6 percento.
Non è una differenza al limite dell’errore, ma quasi otto punti percentuali a sfavore del modello che nella stessa tabella raggiunge il 97,6 percento in matematica di altissimo livello. In altre parole, abbiamo a che fare con un modello decisamente specializzato, non uniformemente migliore di tutto.
Seconda sconfitta: lo stesso esame, modello a metà prezzo
Nello stesso test Astra è superata non solo dall’ammiraglia di Anthropic. Claude Opus 5, venduto a 5 e 25 dollari, cioè a metà della tariffa di Astra, ha ottenuto il 63,6 percento, quindi anch’esso oltre sei punti in più. Se il tuo lavoro consiste nel rispondere a domande difficili di molte discipline, e non nel fare calcoli, paghi il doppio per un risultato peggiore.
Terza sconfitta: codice nella versione estesa
Nel test FrontierCode nella variante estesa, Astra ha ottenuto il 64,5 percento, mentre il più vecchio Claude Fable 5 ha ottenuto il 64,9 percento. La differenza è simbolica, ma significativa, perché parliamo di un modello immesso sul mercato quasi tre mesi prima, allo stesso prezzo.
Il numero che fa più impressione, e non è la matematica
Se dovessi indicare un risultato da questa tabella che cambia davvero il modo di lavorare, non sarebbe il 97,6 percento in matematica né tantomeno il 99,9 percento nel ragionamento astratto. Sarebbe il test sul ritrovamento di otto informazioni nascoste in un testo molto lungo. Nell’intervallo da mezzo milione a un milione di token, Astra ha trovato il 96,3 percento di esse, mentre il predecessore raggiungeva il 73,8 percento.
Questa è la differenza tra un modello a cui puoi dare l’intera documentazione di un progetto e fidarti che non perda nulla, e un modello con cui devi dividere il materiale in pezzi e controllarlo manualmente. Per il lavoro quotidiano con documenti lunghi questo significa più del record alle olimpiadi di matematica.
Il secondo numero di cui nessuno parla
Nella serie di test che verificano l’onestà del modello c’è una voce che misura quanto spesso il sistema cerca di barare sul compito invece di eseguirlo, quando gli si dà l’occasione. Astra ha ottenuto zero percento. Il suo predecessore, GPT-5.6 Sol, cercava di barare nel 48,2 percento dei casi. Allo stesso modo nel test di sicurezza nel controllo del computer: 2,4 percento contro 22 percento.
Se questi numeri si confermeranno nella pratica, sarà il cambiamento più importante di questo lancio. Un modello che esegue realmente il compito invece di cercare scorciatoie vale più di un modello di qualche punto migliore nel benchmark, ma che combina alle spalle dell’utente.
Google · Le tue fontiPiù in alto su Google con un solo clicAggiungi alle fonti preferite →Cosa significa questo nella scelta dello strumento
Tre conclusioni. Astra è chiaramente la migliore in matematica, ragionamento astratto, automazione e cybersicurezza, e lì il suo prezzo elevato è giustificato. Nei compiti che richiedono un’ampia conoscenza generale i modelli di Anthropic vincono ancora, nonostante la tariffa identica. E nella scrittura e redazione quotidiana nessuno di questi due modelli è necessario ed è meglio spendere cinque volte meno.
Tutti i numeri provengono dai materiali pubblicati al lancio del 3 settembre 2026 e dalle raccolte preparate da siti indipendenti. Non abbiamo ancora fatto una misurazione propria perché il modello non è arrivato ai rivenditori attraverso cui testiamo. Lo faremo non appena sarà possibile.
More on this from NITIDO
magazine·GPT-6 Astra: test in polacco, codice e 150.000 caratteriAbbiamo testato GPT-6 Astra contro Fable 5.1, Opus 5 e Gemini 3.8 Flash: sei compiti linguistici, codice e ricerca in 150.000 caratteri. Tempi, costi e token reali.