NITIDO_
Notizie

Decision Index v1.0: la classifica Artificial Analysis

nitido@ai:~$ cat news_1

› Il 13 ottobre 2026 Artificial Analysis ha pubblicato il Decision Index v1.0, il primo benchmark indipendente dedicato ai decision model.

nitido@ai:~$ cat news_2

› Si tratta di modelli progettati per rispondere a domande strutturate - come scelte multiple, risposte booleane o punteggi - in una singola chiamata, restituendo una distribuzione di probabilita su ogni opzione invece di generare testo continuo.Il benchmark aggrega quattro test con un peso del 25% ciascuno: AA-Omniscience-Decision (500 domande su conoscenza privata con opzione di astensione), HLE-MultiChoice (513 quesiti a risposta multipla tratti da Humanity's Last Exam), When2Call di NVIDIA (scelta tra rispondere, chiamare un tool, chiedere chiarimenti o rifiutare) e WildGuardTest di Ai2 sulla moderazione dei contenuti.

nitido@ai:~$ cat news_3

› Per i decision model viene selezionata l'opzione a probabilita piu alta, mentre per i modelli linguistici tradizionali la valutazione avviene tramite structured outputs in formato JSON.I risultati della classificaIn base ai dati di Artificial Analysis del 13 ottobre 2026, Jev 1.13 di TypeSafe guida la classifica generale con un punteggio di 57,5, seguito da GLiDE di Fastino Labs con 53,9 e da Microsoft-Decision-1 con 53,8.

nitido@ai:~$ cat news_4

› I modelli ad architettura decisionale mostrano un netto vantaggio sui tempi di elaborazione e sui costi rispetto agli LLM standard.ModelloIndexCosto / 1M taskTempo medianoJev 1.1357,5$41,5127 msGLiDE53,9$119,0217 msMicrosoft-Decision-153,8$30,7207 msDecider v1.1 27B53,1$16,5170 msMercury Decide52,7$30,4500 msCeleris-1 Decision52,3$31,663 msClaude Haiku 5.5 (low)60,6$184,01434 msNelle sotto-metriche emergono differenze marcate: Jev 1.13 ottiene il punteggio piu alto nel ragionamento su HLE-MultiChoice con 20,9 punti, contro valori pari o inferiori a 15,4 per tutti gli altri decision model.

nitido@ai:~$ open --full
Leggi tutto

Decision Index v1.0: la classifica Artificial Analysis

Apri l'articolo su nitidezza.it