Decision Index v1.0: la classifica Artificial Analysis
Artificial Analysis pubblica il Decision Index v1.0: Jev 1.13 guida la classifica dei decision model davanti a GLiDE e Microsoft-Decision-1.
👁 112 letture
Il 13 ottobre 2026 Artificial Analysis ha pubblicato il Decision Index v1.0, il primo benchmark indipendente dedicato ai decision model. Si tratta di modelli progettati per rispondere a domande strutturate - come scelte multiple, risposte booleane o punteggi - in una singola chiamata, restituendo una distribuzione di probabilita su ogni opzione invece di generare testo continuo.
Il benchmark aggrega quattro test con un peso del 25% ciascuno: AA-Omniscience-Decision (500 domande su conoscenza privata con opzione di astensione), HLE-MultiChoice (513 quesiti a risposta multipla tratti da Humanity’s Last Exam), When2Call di NVIDIA (scelta tra rispondere, chiamare un tool, chiedere chiarimenti o rifiutare) e WildGuardTest di Ai2 sulla moderazione dei contenuti. Per i decision model viene selezionata l’opzione a probabilita piu alta, mentre per i modelli linguistici tradizionali la valutazione avviene tramite structured outputs in formato JSON.
I risultati della classifica
In base ai dati di Artificial Analysis del 13 ottobre 2026, Jev 1.13 di TypeSafe guida la classifica generale con un punteggio di 57,5, seguito da GLiDE di Fastino Labs con 53,9 e da Microsoft-Decision-1 con 53,8. I modelli ad architettura decisionale mostrano un netto vantaggio sui tempi di elaborazione e sui costi rispetto agli LLM standard.
| Modello | Index | Costo / 1M task | Tempo mediano |
|---|---|---|---|
| Jev 1.13 | 57,5 | $41,5 | 127 ms |
| GLiDE | 53,9 | $119,0 | 217 ms |
| Microsoft-Decision-1 | 53,8 | $30,7 | 207 ms |
| Decider v1.1 27B | 53,1 | $16,5 | 170 ms |
| Mercury Decide | 52,7 | $30,4 | 500 ms |
| Celeris-1 Decision | 52,3 | $31,6 | 63 ms |
| Claude Haiku 5.5 (low) | 60,6 | $184,0 | 1434 ms |
Nelle sotto-metriche emergono differenze marcate: Jev 1.13 ottiene il punteggio piu alto nel ragionamento su HLE-MultiChoice con 20,9 punti, contro valori pari o inferiori a 15,4 per tutti gli altri decision model. Al contrario, sul test When2Call per l’orchestrazione degli strumenti primeggiano GLiDE e Celeris-1 Decision a quota 83,7 punti, superando Claude Haiku 5.5 impostato su low (73 punti) e GPT-6 Luna low (77 punti).
Nel confronto con gli LLM completi, Claude Haiku 5.5 supera Jev 1.13 di circa tre punti complessivi raggiungendo quota 60,6. Tuttavia, come evidenziato da Artificial Analysis, l’LLM di Anthropic richiede 11 volte piu tempo di calcolo (1434 ms contro 127 ms) e presenta un costo per task 4,4 volte superiore ($184 contro $41,5 per milione di operazioni), confermando il compromesso tra flessibilita generativa ed efficienza computazionale.
Approfondisci: Modelli decisionali IA - classifica Decision Index, prezzi e test
More on this from NITIDO
