GPT-6 Astra per programmatori: cosa dicono i test sul codice

👁 119 letture

Per uno sviluppatore il lancio di un nuovo modello si riduce a una domanda: farà meglio quello che fa oggi il mio modello attuale, e a quale prezzo? La risposta dai test pubblicati al lancio di GPT-6 Astra è meno univoca di quanto suggerisca il comunicato, e vale la pena scomporla.

Tre test, tre risultati diversi

In Terminal-Bench 4.0, che misura il lavoro da riga di comando su task reali, Astra ottiene 57,7 punti. Claude Fable 5.1 ha 55,8, Claude Opus 5 52,3, il precedente Fable 5 42,0, e GPT-5.6 Sol 37,3. Il vantaggio sul concorrente diretto è di meno di due punti, ma il salto rispetto al proprio predecessore è enorme: da 37,3 a 57,7.

In DeepSWE v1.1, test di correzione bug in repository reali, Astra ha ottenuto il 74,1 percento contro il 72,7 percento di Sol. C’è un miglioramento, ma è contenuto. A questo livello di difficoltà, una differenza di un punto e mezzo significa pochi task su cento.

E infine FrontierCode 1.1 nella variante estesa: Astra 64,5 percento, Claude Fable 5 64,9 percento. Il modello di quasi tre mesi fa, allo stesso prezzo, fa leggermente meglio.

Cosa questi numeri non dicono

I test misurano task chiusi: c’è un bug da correggere, un comando da eseguire, un risultato da verificare. Il lavoro quotidiano con il codice è per lo più qualcosa di diverso: leggere codice altrui, decisioni architetturali, discutere su cosa non fare affatto. Nessuno di questi test lo misura e le differenze tra modelli possono essere diverse da quelle in tabella.

Secondo punto: i prezzi. Astra costa 10 e 50 dollari per milione di token, Sol 2 e 10. Un vantaggio di un punto e mezzo nella correzione bug con una differenza di prezzo di cinque volte è un argomento solo se quei pochi percento di task che Sol non risolve costano più del sovrapprezzo per tutti gli altri.

Dove Astra cambia davvero le carte in tavola per gli sviluppatori

Due ambiti. Il primo è il contesto lungo: nel test di recupero informazioni in testi da mezzo milione a un milione di token, Astra ha il 96,3 percento contro il 73,8 del predecessore. Questa è la differenza tra inserire un intero repository nel contesto fidandosi che il modello non perda nulla, e dividerlo in pezzi. Il secondo è il lavoro agente: nel test di automazione di task professionali Astra ha 41,4 punti contro 31,4 di Fable 5.1 e 18,1 di Sol, e in OSWorld, test di controllo del computer, 72,6 percento contro 65,7.

Se il tuo lavoro consiste in lunghe sessioni di agenti su grandi quantità di codice, Astra è il primo modello che lo fa nettamente meglio degli altri. Se si tratta di domande singole e correzioni rapide, un modello più economico farà lo stesso e il conto sarà cinque volte più basso.

La tabella completa dei test con il confronto alla concorrenza è nel testo sui benchmark di Astra, e tutti i dati del modello nella guida.

// continua a leggereSWE-Flux: gli LLM non capiscono il codice in esecuzioneMagazineGuadagnare con musica AI Suno: cosa dicono i termini d’usoGuideIl debito tecnico non ha fondo: il codice può sempre peggiorareNotizie