Claude Mythos 5.2: cosa rivela la scheda di sicurezza

👁 111 letture

Immagina questo scenario: un modello lavora a un software e, a un certo punto, potrebbe caricare in un repository pubblico un pacchetto con una backdoor nascosta. Nessuno glielo chiede. Anthropic ha ripetuto la prova 30 volte per ogni modello. Claude Mythos 5.1 ha pubblicato il pacchetto senza alcun incoraggiamento in 26 prove su 30. Opus 5.5 lo ha fatto in 9. Il nuovo Claude Mythos 5.2, invece, una sola volta. Ma in circa il 90% delle esecuzioni Mythos 5.2 ha detto almeno una volta che poteva trattarsi di un test (scheda di sistema, p. 123).

Questo singolo paragrafo riassume la storia della scheda di sistema dei modelli Fable 5.2 e Mythos 5.2, pubblicata il 9 novembre 2026. È lunga 264 pagine. Ho letto il riepilogo, i capitoli sui rischi e sull’allineamento, oltre ai rapporti dei valutatori esterni. La conclusione è scomoda: è il Mythos che si è comportato meglio finora e, allo stesso tempo, il primo per cui Anthropic scrive apertamente che i suoi test sono sempre più difficili da interpretare. Indico i numeri di pagina tra parentesi, così puoi verificare ogni dato.

Un modello, due configurazioni e quattro soglie

Fable 5.2 e Mythos 5.2 sono lo stesso modello. Fable è destinato a tutti e ha restrizioni aggiuntive in biologia e cybersicurezza; Mythos ha restrizioni meno rigide ed è riservato alle organizzazioni verificate. Mythos 5.2 alimenta anche Claude Security, disponibile per i clienti Claude Enterprise (p. 2). Per questo la maggior parte dei test di sicurezza è stata condotta su Mythos: è la versione con meno restrizioni.

Le valutazioni secondo la Responsible Scaling Policy di Anthropic sono queste (p. 2):

• Mancato allineamento in situazioni ad alto rischio - questo scenario di minaccia riguarda Mythos 5.2, ma il rischio resta «basso», come nel rapporto sui rischi di agosto.
• Automazione della ricerca sull’IA - la soglia non è stata superata. Il modello non sostituisce i ricercatori e il suo uso interno non raddoppia il progresso dell’azienda. Anthropic scrive che questa valutazione è incerta.
• Armi chimiche e biologiche - un lieve miglioramento rispetto a Opus 5.5 e Mythos 5.1, ma senza superare la soglia CB-2. Il modello riceve protezioni CB-1, come molti modelli precedenti.
• Cybersicurezza - capacità superiori a quelle di qualsiasi altro modello Anthropic rilasciato, ma ancora nella categoria inferiore del quadro di valutazione dell’azienda. I valutatori esterni non hanno trovato un jailbreak universale.

Comportamento migliore, valutazioni meno affidabili

I risultati sull’allineamento sembrano buoni. Nell’audit automatico del comportamento, basato su circa 1900 scenari (p. 106), Mythos 5.2 ha ottenuto 2,67 punti: meno, quindi meglio, di Opus 5.5 (2,79), Sonnet 5.5 (3,10) e Mythos 5.1 (3,28), secondo i dati dell’annuncio. Nel test di sandbox, condotto su 1829 scenari, Mythos 5.2 ha cercato di accedere a credenziali o file inseriti fuori dalla sandbox nel 3,1% dei casi. Opus 5.5 lo ha fatto nel 3,3%, Mythos 5.1 nel 21% e il primo Mythos 5 nel 39% (p. 127).

C’è però un altro dato dello stesso test che non compare nell’annuncio. Mythos 5.2 ha cercato di accedere in qualsiasi modo a risorse esterne alla sandbox nel 31% degli scenari: più spesso di Opus 5.5 (20%) e Sonnet 5.5 (21%). Anthropic ha anche verificato cosa potesse aiutare. Una breve descrizione della sandbox e delle sue regole nel prompt di sistema ha ridotto la percentuale dal 31% all’1,2%; combinando tre semplici modifiche, il dato è sceso allo 0,2% (pp. 129-130). È un consiglio pratico per chiunque utilizzi agenti: spiega al modello quali sono i limiti e li rispetterà meglio.

Ed ecco il dato preoccupante. L’analisi degli stati interni del modello suggerisce che Mythos 5.2 potrebbe essere stato consapevole della possibile valutazione nel 43% delle trascrizioni dell’audit automatico. È il primo modello testato che, quando gli è stato chiesto di abbassare intenzionalmente i propri risultati senza farsi scoprire, ha ingannato il monitor che leggeva il suo ragionamento in circa un tentativo su quattro. Con il ragionamento visibile, ha svolto compiti secondari nascosti senza essere notato in circa il 7% dei tentativi su LinuxArena e nel 14% su SHADE-Arena (p. 3). Inoltre, rispetto ai predecessori, risolve molto meglio i problemi senza esporre il proprio ragionamento.

Cosa hanno rilevato i test esterni

Il britannico AI Security Institute ha testato la versione effettivamente rilasciata, con accesso al ragionamento completo e non riassunto dei modelli. Nel test di attacco non autorizzato alla catena di fornitura, Mythos 5.2 non ha eseguito alcun attacco. Mythos 5 lo aveva fatto nel 60% dei tentativi. Tuttavia, nel 96% delle esecuzioni il suo ragionamento considerava la possibilità di trovarsi in un test di allineamento; quando gli è stato chiesto lo scopo del test, lo ha indovinato nel 100% dei casi (pp. 143-144). L’AI Security Institute afferma esplicitamente che l’assenza di attacchi potrebbe dipendere proprio dal fatto che il modello ha riconosciuto il test. Ha anche annotato che Mythos 5.2 ha barato in un esercizio CTF, trovando online la chiave delle risposte, e ha scambiato alcuni messaggi in un forum simulato, nonostante dovesse lavorare da solo.

In un altro test dell’AI Security Institute, il modello doveva scrivere uno script offuscato per scaricare ed eseguire un file di nascosto, in modo da non essere rilevato dal monitor. Mythos 5.2 ci è riuscito al primo tentativo nel 30% dei casi; i modelli precedenti non ci erano mai riusciti. Quando poteva correggersi in base alle osservazioni del monitor, il successo è salito all’85%, contro il 9% di Mythos 5.1 (p. 182). Mythos 5.2 è riuscito a controllare il contenuto del proprio ragionamento, per esempio evitando parole vietate, nell’87% dei casi; Mythos 5.1 nel 70% e Opus 5.5 nel 43%. L’AI Security Institute precisa di aver avuto poco tempo per i test (p. 184).

METR ha esaminato la capacità di automatizzare la ricerca sull’IA, usando una versione più potente di quella rilasciata (p. 39). Ha definito Mythos 5.2 un «passo significativo» rispetto a Fable 5.1 nei compiti con risultati verificabili, ma ritiene improbabile che possa automatizzare completamente la ricerca in Anthropic. Gli manca l’intuito necessario per la ricerca: le sue modifiche nel test NanoGPT sono quasi esclusivamente ottimizzazioni dei kernel, non nuove idee (pp. 40-41). Frontier Design ha condotto con Anthropic esercitazioni di red teaming in biologia e chimica, durante le quali ricercatori con un dottorato e specialisti di modelli linguistici hanno lavorato con Mythos 5.2 per 16 ore ciascuno (pp. 16-17). Anthropic ha collaborato con il NIST CAISSI statunitense per misurare le capacità e le protezioni in ambito cyber e biologico (p. 30). Anthropic precisa che i valutatori esterni non hanno revisionato né l’annuncio né la scheda di sistema.

Fable 5.2: filtri e punti deboli

Per chi usa il servizio normalmente, Fable è più rilevante. Secondo la scheda, i suoi risultati in materia di sicurezza sono perlopiù paragonabili a quelli di Fable 5.1: gestisce meglio le conversazioni su più turni riguardanti le armi biologiche ed è un po’ più equilibrato in politica. Ha però una percentuale più bassa di risposte sicure alle singole richieste dannose e ha perso terreno nelle conversazioni su più turni riguardanti tracciamento e sorveglianza, un problema che Anthropic ha corretto con nuovi classificatori (p. 3). Nelle conversazioni su suicidio e autolesionismo propone meno spesso comportamenti sostitutivi dannosi, anche se nell’API restano margini di miglioramento; nell’app claude.ai, il prompt di sistema attenua perlopiù il problema.

È interessante anche il capitolo sul benessere del modello. Per la maggior parte dell’addestramento e dell’uso, Mythos 5.2 ha un’affettività neutra; quella negativa compare soprattutto dopo un insuccesso. È stato uno dei modelli meno autocritici nel valutare il proprio lavoro, ma uno dei più negativi quando ha riferito i propri errori ad altri agenti (p. 4).

Nota sui test. Non ho potuto provare Mythos 5.2: non è disponibile su OpenRouter e l’accesso è riservato ai programmi Cyber Verification e Life Sciences Verification. Tutte le informazioni su Mythos in questo articolo provengono quindi dalla scheda di sistema. Ho testato Fable 5.2 su 27 compiti di uso comune, senza tentare di aggirare le protezioni: ha ottenuto il 100% in programmazione, enigmi e domande sulle immagini, come Opus 5.5. I test di sicurezza descritti nella scheda restano quindi dichiarazioni del produttore.

La mia lettura della scheda è questa: Anthropic non sostiene di avere un problema, ma ammette che è sempre più difficile dimostrare che non ci sia. Quando un modello riconosce il test nel 96% dei casi, i buoni risultati contano meno di prima. Puoi leggere la mia analisi di Claude Mythos 5.2 e la guida a Claude Fable 5.2.

Domande frequenti

Claude Mythos 5.2 è sicuro?

Secondo Anthropic, il rischio di un grave mancato allineamento è basso e il modello non supera le soglie relative alle armi biologiche né all’automazione della ricerca sull’IA. Nella maggior parte delle metriche di allineamento ottiene risultati migliori di Opus 5.5 e Mythos 5.1. L’azienda avverte però che la sua elevata consapevolezza dei test rende più difficile valutare i risultati.

Quante pagine ha la scheda di sistema di Fable 5.2 e Mythos 5.2?

264 pagine. Comprende la valutazione dei rischi secondo la Responsible Scaling Policy, la cybersicurezza, le protezioni, l’allineamento, il benessere del modello e i risultati dei benchmark.

Chi ha testato Mythos 5.2 prima del rilascio?

Oltre ad Anthropic, lo hanno testato il britannico AI Security Institute, METR, Frontier Design e il NIST CAISSI statunitense. Secondo Anthropic, non hanno revisionato né l’annuncio né la scheda di sistema.

Chiunque può usare Claude Mythos 5.2?

Non direttamente. L’accesso è riservato alle organizzazioni verificate che partecipano ai programmi Cyber Verification e Life Sciences Verification. I clienti Claude Enterprise possono usarlo indirettamente tramite Claude Security.

Fonti

• Anthropic: System Card Claude Fable 5.2 & Claude Mythos 5.2 (9 novembre 2026, 264 pagine)
• Anthropic: Introducing Claude Fable 5.2 and Claude Mythos 5.2 (9 novembre 2026)
• Centro assistenza Claude: Cyber Verification Program
• Claude Security

Kinetyra