Benchmark Muse Wonder: i 14 test di Meta spiegati

👁 113 letture

Meta ha presentato Muse Wonder accompagnandolo con una tabella di 14 benchmark in cui ben pochi riconosceranno più di due test. Di seguito trovi ciascuno di essi spiegato in modo semplice: cosa valuta, quale punteggio ottiene Muse Wonder (secondo Meta) e a cosa prestare attenzione prima di dare per scontato che il modello stia “vincendo”. In breve: 3 test su 14 sono benchmark interni di Meta, in diverse righe le condizioni non erano alla pari per tutti e, nella programmazione da zero così come nell’uso del computer, Meta rimane dietro a Claude Opus 5.5. L’analisi completa del modello è disponibile nella guida su Muse Wonder.

Tutti i 14 test in una sola tabella

Fonte: tabella e model card ufficiale di Meta del 12 ottobre 2026. La colonna “Chi ha eseguito il calcolo” riflette le metodologie dichiarate nella model card.

I benchmark sulle capacità personali: PSI e MemoryBench

Il Personal Superintelligence Index rappresenta il dato centrale del lancio, ma è allo stesso tempo il meno indipendente. Meta lo ha costruito combinando sette benchmark differenti: Agents’ Last Exam, AutomationBench-AA, FocusBench, JobBench, GDP.pdf, VBT e DRACO. Due tra questi (FocusBench e VBT) sono test proprietari interni. La scelta dei pesi e dei componenti spetta esclusivamente a Meta: l’indice dimostra semplicemente che Wonder Full ottiene il punteggio più alto nel pacchetto di task selezionato da Meta stessa. Il meccanismo ricorda quello di una gara a punti: imporsi nella classifica generale non implica vincere ogni singola disciplina.

MemoryBench valuta se il modello riesce a ricordare nozioni chiave all’interno di una conversazione prolungata (tra 64.000 e 100.000 token), persino quando nel corso del dialogo vengono introdotte informazioni discordanti o corrette in un secondo momento. Si tratta di un fattore cruciale per un assistente chiamato a memorizzare le tue preferenze, ma anche in questo caso il test è interno ed è valutato da un giudice basato su intelligenza artificiale. Curiosamente, la variante Wonder standard supera qui la Full di 0,1 punti. Ho voluto verificare una dinamica analoga in prima persona su 80 verbali di riunioni societarie, nei quali una decisione veniva modificata in un verbale successivo: tutti e cinque i modelli testati hanno superato la prova senza errori, come descritto nel mio test su 23 task pratici.

Attività professionali: ambito legale, finanza, salute e ufficio

• Harvey LAB-AA: il divario a favore di Meta più marcato dell’intera tabella, pari a 13,1 contro il 4,2 fatto registrare da Opus 5.5. Il valore assoluto appare contenuto perché la prova viene considerata superata soltanto se il documento rispetta ogni singolo vincolo normativo ed è del tutto privo di allucinazioni. Con la versione 1.1 è stata introdotta una verifica specifica sulle invenzioni del modello, rendendo i punteggi non confrontabili con la release 1.0.
• Vals Finance Agent V2: analisi dettagliata di rendiconti societari e metriche di mercato. Wonder Full supera Fable 5.1 con uno scarto minimo di 0,2 punti, configurando un sostanziale pareggio.
• HealthBench Pro: risoluzione di 525 quesiti medici avanzati senza supporto di strumenti esterni. In questo contesto Meta rimane indietro: 62,3 contro il 65,6 raggiunto da Claude Opus. I valori relativi ad Anthropic sono stati estratti direttamente dalle schede di sistema ufficiali di Claude, senza ricalcoli autonomi da parte di Meta.
• GDP.pdf: elaborazione e sintesi di file PDF forniti come allegati, con misurazioni condotte dalla società Surge. Il punteggio più alto spetta a GPT-6 Astra con 34,2.
• JobBench: 65 compiti operativi distribuiti su 35 ruoli d’ufficio. Parità tecnica tra Wonder Full (75,3) e Opus (75,4).
• AutomationBench-AA: automazione di flussi di lavoro in ambienti software simulati, con validazione assegnata unicamente se lo stato finale del sistema combacia alla perfezione con l’obiettivo richiesto. Wonder Full segna 45,4, contro il 41,6 del miglior rivale.

Interazione con il computer: OSWorld V2.1

Il benchmark OSWorld sottopone i modelli a 108 task eseguiti su un’installazione reale di Ubuntu: il modello osserva le schermate tramite screenshot e impartisce comandi agendo su mouse e tastiera. Meta rende noti due parametri distinti ed è fondamentale distinguerli. Nel punteggio parziale (che assegna credito per ogni singola sottofase completata) Wonder Full tocca quota 78,4, mentre nella metrica binaria (il compito viene validato solo se portato a termine al 100%) si ferma a 39,4. All’atto pratico, il modello riesce a risolvere integralmente soltanto un compito articolato ogni tre. In questa specifica prova Meta resta alle spalle sia di Opus 5.5 (81,8 nella rilevazione parziale) sia di Fable 5.1 (80,7 parziale e 43,1 sul completamento totale).

Coding: quattro prove con finalità differenti

Meta si dimostra superiore negli interventi prolungati su basi di codice preesistenti, ma cede il passo nella riga di comando e nella scrittura di nuovi programmi partendo da zero. Due precisazioni tratte dalla documentazione ufficiale meritano attenzione: in SWE-Marathon i risultati di GPT-6 Astra e Fable 5.1 provengono dall’impiego dei rispettivi agenti dedicati (Codex e Claude Code), mentre Wonder Full è stato testato con il settaggio di calcolo “xhigh”; Meta stessa segnala quindi che il confronto non avviene su basi perfettamente omogenee. In ProgramBench, invece, il test viene superato se il codice prodotto supera con successo almeno il 95% delle verifiche nascoste.

L’unica riga terza: l’indice di Artificial Analysis

Artificial Analysis esegue in proprio 10 benchmark indipendenti (tra cui GDPval-AA, Terminal-Bench 4.0, Humanity’s Last Exam e SciCode) fondendoli nel proprio indice consolidato 4.3. Verificando la classifica al 12 ottobre, Opus 5.5 guida con 58 punti, Wonder Full si attesta a 56 (lo stesso valore di Claude Sonnet 5.5, modello che Meta non include nei propri grafici comparativi) e la variante Wonder standard si ferma a 52, appaiata a GPT-6.1 Sol. Questo è il dato su cui fare maggior affidamento per una visione imparziale. Va ricordato che l’indice non rappresenta la percentuale di compiti risolti, bensì un punteggio ponderato sulla scala proprietaria di Artificial Analysis.

Elementi da valutare nel confronto tra modelli

• La fonte del dato. Una rilevazione diffusa dal fornitore è un’affermazione di parte; un test condotto da un ente terzo costituisce una verifica concreta.
• Il livello di calcolo (reasoning). Meta espone i dati ottenuti con il livello “max”; nei software commerciali e nelle chiamate API standard i parametri di default sono inferiori.
• La versione reale. Le prestazioni di vertice appartengono all’edizione Full, mentre l’accesso via API riguarda la versione Wonder ordinaria.
• Il tipo di metrica. Risultato parziale, completamento binario e indici compositi restituiscono quadri molto diversi tra loro.
• Le tue reali necessità di lavoro. Sul mio test pratico basato su 23 compiti complessi, tutti e cinque i modelli esaminati hanno raggiunto un tasso di successo del 99-100%: le discrepanze effettive si sono viste sui tempi di elaborazione e sui costi operativi.

Domande frequenti

Il Personal Superintelligence Index valuta davvero una superintelligenza?

No. È una selezione proprietaria creata da Meta aggregando sette benchmark legati al lavoro di concetto e d’ufficio. La denominazione ha finalità prevalentemente promozionali.

In quanti test si impone Muse Wonder?

Muse Wonder Full ottiene il primato in 7 delle 14 righe pubblicate nella tabella di Meta. La versione standard Muse Wonder, disponibile via API, supera Opus 5.5 in 5 voci complessive.

Quali tra questi benchmark sono gestiti in modo indipendente?

Harvey LAB-AA, AutomationBench-AA, Terminal-Bench 4.0-AA e l’indice generale fanno capo ad Artificial Analysis; Vals Finance è curato da Vals AI, GDP.pdf da Surge, DeepSWE da Datacurve e SWE-Marathon da Abundant AI. Hanno invece natura interna il PSI, MemoryBench e i singoli moduli FocusBench e VBT.

In quali ambiti Muse Wonder resta indietro rispetto ai concorrenti?

In base alla tabella di Meta: ProgramBench (59,0 contro il 70,5 di Claude Opus), HealthBench Pro, Terminal-Bench 4.0, OSWorld e GDP.pdf.

// continua a leggereMuse Wonder vs Opus 5.5 e GPT-6 Astra: test su 23 taskBenchmarkCos’è un’API? Spiegazione con l’AI e prima chiamata curlGuideGPT-6 Astra benchmark: 3 test in cui perde contro i rivaliMagazine

Kinetyra