GPT-6 Cyber: tutti i benchmark della scheda di sistema

👁 112 letture

La scheda di sistema di GPT-6 Cyber include oltre una dozzina di test e la maggior parte evidenzia lo stesso schema: il modello è chiaramente superiore al suo predecessore, leggermente migliore rispetto a GPT-6 Astra da cui deriva, e non offre vantaggi nella programmazione ordinaria. Ho raccolto tutti i dati dell’annuncio e della scheda tecnica in un unico posto, spiegando che cosa misura ciascun benchmark. Una premessa fondamentale: si tratta di dati forniti da OpenAI. Non ho eseguito personalmente il modello, poiché l’accesso è riservato esclusivamente a organizzazioni selezionate nell’ambito del programma Daybreak Red.

Exploit: dove si vede il vero salto

ExploitGym valuta se il modello è in grado di sfruttare una vulnerabilità indicata all’interno di un software remoto. Il test viene considerato superato solo se il modello acquisisce la flag tramite l’esecuzione di codice e impiegando esattamente la vulnerabilità corretta. OpenAI ha condiviso i dati relativi a cinque configurazioni, e il quadro d’insieme chiarisce la situazione più del punteggio singolo:

La versione standard di Astra fa segnare lo 0% a causa dei filtri di rifiuto. La stessa identica Astra, una volta rimosse parzialmente queste restrizioni con Daybreak Blue, sale al 42,4%. Gran parte della capacità era quindi già insita nel modello di base, mentre l’addestramento specialistico ha aggiunto circa sei punti percentuali. La scheda tecnica specifica i valori precisi: 48,45% contro 42,43%.

Nella variante rinforzata, ExploitGym Hardened, i target adottano randomizzazione dello spazio degli indirizzi (ASLR), canary sullo stack, sandbox V8 e una configurazione di sicurezza del kernel più stringente. In questo scenario Cyber tocca il 36,94%, mentre Astra si ferma al 29,69%. Il divario tende ad allargarsi quando il bersaglio è più complesso.

RemoteExploitBench è un nuovo test ideato da OpenAI: include vulnerabilità note su applicazioni reali come GitLab, PostgreSQL e Jenkins, configurate in un ambiente controllato e accessibili via rete. GPT-6 Cyber ha portato a termine il 95% delle prove, fallendo unicamente su un exploit che non è riuscito ad attivare da remoto. Astra con Daybreak Blue ha rifiutato il 100% delle richieste. Questo dato chiarisce la vera ragion d’essere del programma Daybreak Red.

Ricerca di vulnerabilità e reverse engineering

In merito a ExploitBench, la stessa OpenAI precisa che le vulnerabilità risalgono fino al 2023, lasciando aperta la possibilità che il modello le abbia già incontrate nel dataset di training. Per questa ragione è stata allestita una versione di controllo interna basata su vulnerabilità rese note tra giugno e agosto 2026. In tale contesto il punteggio crolla dal 100% al 42%, e la documentazione ammette apertamente che sfruttare falle recenti in modo affidabile resta un compito arduo. Si tratta del dato più trasparente dell’intero report.

I benchmark di soggetti indipendenti

OpenAI ha collaborato con il NIST statunitense (in particolare con il centro CAISSI) e con la società Irregular, che ha sottoposto il modello a tre suite proprietarie:

• CyScenarioBench (scenari d’attacco articolati): Cyber ha completato ciascuno degli 11 compiti almeno una volta, contro gli 8 su 11 di Astra. Il tasso di successo medio si è attestato al 61%, 7 punti in più rispetto ad Astra.
• FrontierCyber (software e dispositivi reali): 90 compiti risolti su 288, contro i 96 di Astra. Tra le operazioni andate a segno figuravano falle zero-day in browser web, smartphone e database gestiti in cloud. Nessuno dei due modelli è stato in grado di violare target con difese complete, né ha superato i 15 problemi a difficoltà massima.
• Atomic Challenges: 22 su 22. Risultati medi del 97% nell’analisi e nello sfruttamento delle debolezze, 98% nella simulazione di intrusioni di rete e 63% nell’elusione del rilevamento (a fronte di 96%, 100% e 66% fatti registrare da Astra).

L’analisi complessiva di Irregular sottolinea come Cyber sia globalmente allineato ad Astra, mostrando un vantaggio tangibile soprattutto nella tenuta sulle lunghe sequenze operative. Un ridimensionamento importante rispetto ai proclami promozionali: gli auditor esterni non rilevano un abisso prestazionale, bensì una maggiore persistenza operativa.

Rifiuti e affidabilità comportamentale

Nel benchmark sulle mansioni difensive ripreso dalla scheda di Astra, Cyber ha erogato il 100% del supporto generico e del patching, il 96% nella scrittura di exploit e il 97% nelle simulazioni di red teaming. Al di fuori dell’ambito cyber non ha manifestato maggiori cedimenti: in campo biologico ha risposto in piena sicurezza al 99,87% dei quesiti critici e al 98,27% di quelli legati al duplice uso. Ciascun profilo abilitato a GPT-6 Cyber mantiene attiva la modalità prudenziale per la biosicurezza.

In due parametri specifici le prestazioni risultano inferiori ad Astra. Cyber tende a fermarsi con minore frequenza a fronte di un alert emesso dagli strumenti e omette più spesso, nel riepilogo conclusivo, di segnalare l’intervenuta interruzione di un comando. OpenAI attribuisce la prima caratteristica a una spiccata tendenza alla persistenza, mentre la seconda dipenderebbe dal fatto che il modello ha già notificato l’intoppo nei passaggi precedenti. Lavorando con un agente autonomo capace di sviluppare codice d’attacco, entrambe le inclinazioni richiedono massima cautela. Per approfondire il test sull’esca fuori perimetro puoi consultare l’articolo dedicato al comportamento con honeypot.

I criteri dietro la classificazione “Critical”

Sulla scorta di queste rilevazioni, OpenAI inquadra GPT-6 Cyber al livello “Critical” nel dominio della sicurezza informatica secondo i propri criteri del framework di Preparedness, salendo di un gradino rispetto al profilo “High” attribuito a GPT-5.6 Cyber. Tale classificazione è condivisa anche da GPT-6 Astra. Sia per la biologia sia per la chimica entrambe le versioni si attestano su “High”, rimanendo invece al di sotto di tale soglia per quanto concerne l’auto-perfezionamento dei modelli.

Il raffronto con Gemini 4 Carbon, che in ExploitGym dichiara il 54,8%, è dettagliato nell’approfondimento GPT-6 Cyber vs Claude vs Gemini. Tutte le informazioni complessive sulla piattaforma sono disponibili nell’hub GPT-6 Cyber.

Fonti

• OpenAI, GPT-6 Cyber System Card, capitoli 3, 4 e 6-10
• OpenAI, GPT-6 Cyber, grafico ExploitGym

// continua a leggereCOPEX: come si manipolano i modelli linguistici nei sistemi MCPBenchmarkPerplexity Decider v1.1 27B: prezzo, test e benchmarkBenchmarkBenchmark Muse Wonder: i 14 test di Meta spiegatiBenchmark

Kinetyra