Modelli decisionali vs LLM: quanto risparmi su un milione di classificazioni

👁 113 letture

Un modello decisionale conviene al posto di un LLM quando la risposta appartiene a un elenco chiuso e devi prendere migliaia di decisioni al giorno. Su un milione di classificazioni, la differenza può essere di diverse volte: secondo le misurazioni di Artificial Analysis del 13 ottobre 2026, un milione di attività di classificazione costa tra 10,81 € (12,1 USD) e 20,37 € (22,8 USD) con i migliori modelli decisionali, contro 81,73 € (91,5 USD) con Claude Haiku 5.5. Nel mio test su richieste in polacco, la combinazione di Microsoft-Decision-1 con Claude Haiku 5.5 per i casi incerti ha ottenuto la stessa accuratezza di Haiku da solo a un costo 5,5 volte inferiore. Qui trovi il calcolo completo, un calcolatore pronto all’uso e le principali insidie. Le conversioni in euro sono stime, non prezzi applicati al checkout. Nota: conversioni calcolate al tasso di riferimento BCE del 14 ottobre 2026 (1 EUR = 1,1195 USD), fonte: BCE.

Ho spiegato che cosa sono i modelli decisionali e quale ha vinto la classifica nella guida Modelli decisionali AI e nell’articolo sul Decision Index. Qui mi concentro sui costi.

Quando conviene un modello decisionale

Verifica queste cinque condizioni. Più ne soddisfi, maggiore può essere il risparmio:

• La risposta è in un elenco. Reparto, categoria, sì o no, valutazione su una scala, nome di uno strumento. Se ti serve una frase, il modello decisionale non la scriverà.
• Le decisioni sono tante. Con 100 al giorno risparmi pochi centesimi al mese e probabilmente non vale la pena modificare codice funzionante. Con 10.000 al giorno arrivi a diverse centinaia di migliaia di decisioni al mese.
• Il modello ha a disposizione tutto ciò che gli serve. Testo della richiesta, dati dell’ordine, cronologia del cliente. Se deve rispondere usando conoscenze richiamate dalla memoria, secondo AA i modelli decisionali hanno un’accuratezza del 28-41%, contro il 52% di Claude Haiku 5.5.
• La velocità conta. Nelle misurazioni di AA, la mediana è di 63-500 ms per attività, contro 1,4-1,5 s per i piccoli LLM: una differenza importante per un agente che prende più decisioni a ogni passaggio.
• Vuoi impostare una soglia di confidenza. Il modello decisionale indica la probabilità di ogni opzione, così puoi inoltrare facilmente i casi incerti.

Quanto costa un milione di classificazioni secondo Artificial Analysis

Artificial Analysis indica il costo separatamente per ogni test. Il più vicino a una classificazione tipica è WildGuardTest: il modello valuta se una richiesta e la relativa risposta sono dannose. Ecco costo per un milione di attività e risultato (F1) al 13 ottobre 2026:

Conclusione: in questa classificazione Decider v1.1 27B e Jev 1.13 ottengono risultati migliori di Claude Haiku 5.5 e costano rispettivamente 7,6 e 4 volte meno. Claude Opus 5.5 supera Haiku di poco, ma costa 41 volte tanto: per questo lavoro un modello grande è semplicemente troppo costoso.

Il mio test: un milione di richieste in polacco

Il 13 ottobre 2026 ho inviato a OpenRouter 50 richieste in polacco destinate a un negozio: bisognava scegliere un reparto tra 7 opzioni e indicare la priorità in un’unica richiesta. Ho misurato il costo usando le fatture OpenRouter per ogni richiesta e l’ho proiettato su un milione di richieste. L’accuratezza è calcolata su 47 richieste non ambigue: in tre casi tutti i modelli hanno scelto un reparto diverso da quello della mia risposta di riferimento. Trovi i dettagli nella guida. Il test è stato svolto in polacco, non in italiano.

Perché i costi differiscono anche quando i prezzi per token sono simili?

• Tokenizer. Le stesse richieste in polacco, comprese le domande, corrispondono in media a 205 token con Mercury Decide, 280 con Microsoft-Decision-1 e 650 con Jev.
• Il prompt dell’LLM è più lungo. Claude Haiku 5.5 riceveva un’istruzione di sistema e uno schema JSON: in media 782 token in ingresso e 45 in uscita per richiesta. I token in uscita costano 5 volte quelli in ingresso.
• Il fornitore su OpenRouter. Clef e Clef-Flash passavano da un fornitore più economico di Cloudflare; con Workers AI avresti pagato di più.

Cascata di modelli: stessa accuratezza a una frazione del costo

Il modello decisionale indica il livello di confidenza della risposta scelta. La soluzione più semplice è accettare la risposta se la confidenza è almeno 0,8 e, altrimenti, interrogare un LLM. Ho calcolato i risultati sui dati del test usando Claude Haiku 5.5 (low) come secondo livello:

• Microsoft-Decision-1 con Haiku per il 6% dei casi incerti ha ottenuto lo stesso risultato di Haiku da solo. Un milione di richieste sarebbe costato 16,26 € (18,2 USD) invece di 90,04 € (100,8 USD): 5,5 volte meno.
• Jev da solo ha ottenuto il risultato più basso, 41, ma la sua confidenza individua bene gli errori: dopo aver inoltrato il 17% dei casi incerti a Haiku, il risultato è salito a 45.
• Attenzione alle dimensioni del test. 47 richieste sono poche e la differenza di una richiesta può essere rumore. Stima la percentuale di escalation e la soglia usando almeno alcune centinaia di esempi reali.

Tempi di risposta: modello decisionale o LLM?

Il costo non è tutto. Secondo AA, la mediana per attività è di 127 ms con Jev e 1.434 ms con Claude Haiku 5.5 (low). Un milione di decisioni eseguite una dopo l’altra richiederebbe circa 35 ore con Jev e quasi 400 ore con Haiku. In pratica le attività vengono eseguite in parallelo, ma a quel punto contano i limiti di richieste del fornitore: per esempio, Perplexity consente 10 richieste al secondo per organizzazione. In un agente che a ogni passaggio chiede quale strumento usare, quale priorità assegnare e se un contenuto è sicuro, una differenza di 1,3 s per decisione si fa sentire.

Script pronto: calcolatore dei costi

Inserisci il numero di token e i prezzi per calcolare i costi del modello decisionale, dell’LLM e della cascata. I valori predefiniti sono le medie del mio test, con Microsoft-Decision-1 e Claude Haiku 5.5. Ho verificato lo script il 13 ottobre 2026 in una cartella pulita con Python 3.13; non richiede librerie aggiuntive. Con i valori predefiniti il risultato è 10,51 € (11,76 USD) per il modello decisionale, 89,95 € (100,70 USD) per l’LLM e 15,90 € (17,80 USD) per la cascata, con un risparmio dell’82%.

# Costo di un milione di decisioni: modello decisionale, LLM e cascata (13/10/2026)
# Avvio: python calcolatore_decisioni.py (Python 3.8+, nessuna libreria aggiuntiva)

N = 1_000_000          # numero di decisioni
TOK_ING_DEC = 280      # token in ingresso per decisione nel modello decisionale (misura i tuoi)
PREZZO_DEC = 0.042     # USD per un milione di token in ingresso (Microsoft-Decision-1; uscita 0 USD)
TOK_ING_LLM = 782      # token in ingresso per attività nell'LLM (prompt + schema + richiesta)
TOK_USC_LLM = 45       # token in uscita per attività nell'LLM (JSON + ragionamento)
PREZZO_LLM_ING = 0.10  # USD per un milione di token in ingresso (Claude Haiku 5.5)
PREZZO_LLM_USC = 0.50  # USD per un milione di token in uscita (Claude Haiku 5.5)
ESCALATION = 0.06      # quota di decisioni sotto la soglia di confidenza inoltrate all'LLM


def costo_dec(n):
    return n * TOK_ING_DEC * PREZZO_DEC / 1e6


def costo_llm(n):
    return n * (TOK_ING_LLM * PREZZO_LLM_ING + TOK_USC_LLM * PREZZO_LLM_USC) / 1e6


solo_dec = costo_dec(N)
solo_llm = costo_llm(N)
cascata = costo_dec(N) + costo_llm(N * ESCALATION)
print(f"Modello decisionale:   {solo_dec:8.2f} USD")
print(f"LLM:                   {solo_llm:8.2f} USD")
print(f"Cascata ({ESCALATION:.0%} all'LLM): {cascata:8.2f} USD")
print(f"Risparmio cascata:     {solo_llm - cascata:8.2f} USD ({1 - cascata / solo_llm:.0%})")

Per misurare i token, invia 50-100 richieste reali e leggi il campo usage nella risposta dell’API. OpenRouter restituisce in quel campo anche il costo in USD.

Costi nascosti da tenere in considerazione

• Esempi etichettati. Per impostare una soglia di confidenza servono alcune centinaia di richieste con la risposta corretta. Significa alcune ore di lavoro umano.
• Calibrazione in polacco. Nel mio test i modelli sbagliavano la priorità quando le probabilità erano vicine a 0,5; con una soglia di 0,5, Microsoft-Decision-1 generava 8 falsi allarmi. Di solito 0,5 è una soglia sbagliata. Il test è stato svolto in polacco, non in italiano.
• Modelli troppo sicuri di sé. Secondo AA, tutti i modelli decisionali dichiarano una confidenza più alta di quella giustificata dalla loro accuratezza, soprattutto nelle domande che richiedono conoscenze. Nella classificazione va meglio, ma verifica il comportamento sui tuoi dati.
• Dati personali. Jev elabora i dati negli Stati Uniti. OpenAI e Microsoft offrono l’elaborazione nell’UE; per OpenAI è previsto un supplemento del 10%. Puoi eseguire in autonomia modelli aperti come Decider, Clef e d1-3B, ma dovrai pagare un server con GPU.
• Due sistemi invece di uno. Una cascata comporta codice aggiuntivo, monitoraggio e due fatture. Su volumi ridotti, la semplicità di un solo LLM può valere più del risparmio.

Quando continuare a usare un LLM

• ti serve una risposta testuale o una motivazione della decisione (eccezione: Celeris-1 Decision fornisce una motivazione di una frase);
• la decisione dipende da conoscenze sul mondo che non sono incluse nella richiesta;
• l’elenco delle opzioni cambia continuamente, è molto lungo o poco definito;
• le decisioni sono poche: con 1.000 al mese, Claude Haiku 5.5 costa circa 0,09 € (0,10 USD).

Domande frequenti

Quanto costa un milione di classificazioni con un modello decisionale?

Secondo Artificial Analysis, i migliori modelli decisionali costano tra 10,81 € e 20,37 € (12,1-22,8 USD) per un milione di classificazioni: Decider v1.1 27B, Microsoft-Decision-1, Mercury Decide e Jev 1.13. Claude Haiku 5.5 (low) costa 81,73 € (91,5 USD). Nel mio test su richieste brevi in polacco, il costo è stato di 3,66-24,39 € (4,1-27,3 USD), contro 90,04 € (100,8 USD). Il test è stato svolto in polacco, non in italiano.

Un modello decisionale è preciso quanto un LLM?

Nella classificazione e nella scelta degli strumenti, i migliori modelli decisionali sono allo stesso livello dei piccoli LLM o li superano. Nelle domande basate su conoscenze e nel ragionamento difficile, invece, sono nettamente inferiori.

Che cos’è una cascata di modelli?

È una configurazione in cui un modello decisionale economico gestisce i casi con un alto livello di confidenza e inoltra gli altri a un modello più costoso o a una persona. Nel mio test, Microsoft-Decision-1 con Claude Haiku 5.5 per il 6% dei casi ha raggiunto la stessa accuratezza di Haiku da solo al 18% del costo. Il test è stato svolto in polacco, non in italiano.

Da quante decisioni al giorno conviene passare a un modello decisionale?

Non esiste una soglia valida per tutti. Con i costi del mio test, il risparmio per ogni milione di richieste è di circa 65,21-86,65 € (73-97 USD). Con 50.000 decisioni al giorno, cioè 1,5 milioni al mese, il risparmio sarebbe di circa 98,26-129,52 € (110-145 USD) al mese. Si aggiunge un tempo di risposta diverse volte più breve.

Dichiarazione: avevo già avuto contatti con Jev durante una ricognizione precedente; a settembre gli ho scritto un semplice client API. TypeSafe non ha commissionato né pagato questo articolo e tutti i modelli hanno ricevuto gli stessi compiti nel test.

Fonti

• Artificial Analysis Decision Index v1.0 (13 ottobre 2026)
• Artificial Analysis: WildGuardTest, risultati e costi (dati scaricati il 13 ottobre 2026)
• OpenRouter: Decisions API
• Perplexity: limiti dell’API Decisions
• Test personale: 13 ottobre 2026, 50 richieste e 10 decisioni sugli strumenti, 11 modelli tramite OpenRouter dalla Polonia, costo 0,020 € (0,022 USD).

// continua a leggereTypeSafe AI lancia Jev, un modello che restituisce numeri invece di testoBenchmarkIl gap tra modelli AI chiusi e open pesa solo 4,4 mesi e 5 volte il costoBenchmarkSuno v6: tre modelli, major discografiche e addio al passatoNotizie

Kinetyra