basal-omni: primo tra i modelli aperti su JevBench

👁 117 letture

basal-omni-1.0-ultra, il modello decisionale di Remek Kinas, è al primo posto tra i modelli con pesi aperti su JevBench. La classifica valuta sistemi che non scrivono testi, ma scelgono una risposta da un elenco e indicano quanto ne sono sicuri. Il modello ha ottenuto 82,5 punti nel Capability Score. Considerando anche i servizi chiusi con API, è davanti solo kettei-fat di Sqwish (86,3). In questa classifica basal supera i modelli decisionali chiusi di OpenAI e Microsoft e Jev di TypeSafe, il modello da cui è nata questa categoria. Ho controllato la classifica JevBench, le schede dei modelli su Hugging Face e chi gestisce il benchmark. Ho anche provato la versione più piccola sul mio computer.

Cosa ha annunciato Remek Kinas

Il 17 ottobre Remek Kinas (@KinasRemek su X) ha scritto che basal-omni è «TOP1 al mondo tra i modelli aperti» e TOP2 tra tutti i modelli su JevBench. Il post si conclude così: «Quindi si può fare? Certo che si può! AI polacca». Kinas ha ringraziato anche l’autore del benchmark (@airesearch12) per la valutazione indipendente. Secondo il contatore di X, al 19 ottobre il post aveva circa 266.000 visualizzazioni.

basal è un progetto di Kinas. Ha un motore proprietario per l’esecuzione, basal-serve, e due famiglie di modelli: basal-2.0, basata sul modello polacco Bielik v3, e basal-omni, basata su Gemma 4 di Google. basal-omni elabora testo, immagini e audio; ultra non supporta l’audio. Come gli altri modelli decisionali, però, non genera frasi: riceve uno stato, per esempio il contenuto di una richiesta, e domande con risposte predefinite, poi restituisce in un’unica elaborazione la probabilità di ciascuna opzione. Questo approccio è stato introdotto da TypeSafe con il modello Jev. Ne ho parlato a settembre nell’articolo Jev di TypeSafe; trovi una panoramica della categoria nella guida ai modelli decisionali AI.

Il risultato su JevBench

JevBench sottopone ogni sistema alle stesse 1.500 decisioni e misura quattro aspetti: accuratezza (Intelligence), calibrazione, cioè quanto la sicurezza dichiarata corrisponde all’accuratezza effettiva, velocità e costo per 1.000 decisioni. La classifica principale dei modelli aperti usa il Capability Score, la media di accuratezza e calibrazione. Possono partecipare solo i sistemi «della classe di Jev», che costano al massimo il doppio e rispondono in un tempo non superiore al doppio rispetto a Jev.

Nella classifica separata dei servizi API, calcolata con la stessa metrica, è in testa kettei-fat di Sqwish (86,3), seguito tra gli altri da d1-ultra di Liquid AI (80,5), Jev 1.13.0 (77,1), Jev 1.14.0 (75,0), OpenAI Decisions su GPT-6 Luna (73,5) e Microsoft-Decision-1 (72,2, risultato indicato come preliminare). Con 82,5 punti, basal si colloca quindi al secondo posto se si confrontano le due classifiche.

Cosa significa «TOP1» e cosa no

• È primo nel Capability Score, che considera accuratezza e calibrazione. Nel risultato complessivo ufficiale di JevBench (Composite), in cui velocità e costo pesano anch’essi per il 25% ciascuno, basal-omni-1.0-ultra è terzo tra 184 sistemi aperti. Lo precedono due modelli 4B molto più piccoli, H2O-Lightning-4B v1.1 e Torchcast Decision 4B, meno costosi da eseguire ma nettamente meno accurati (60,0 e 60,3).
• La classifica cambia a ogni versione. Quando basal è entrato nella classifica il 17 ottobre (versione v1.6.28), le note di rilascio indicavano il quarto posto su 45 per l’estrazione di attività usata allora. L’ordine attuale è quello della versione v1.7.46 del 18 ottobre.
• La velocità di ultra è misurata direttamente da JevBench sulla sua scheda: mediana di 0,102 s. Il costo è di circa €0,0401 (0,045 USD) per 1.000 decisioni, il 38% in più rispetto a Jev, ma entro i limiti della classe di Jev.
• In classifica c’è solo ultra. JevBench non assegna un risultato separato alle versioni più piccole di basal-omni, mini e max.

Conversione indicativa da USD a EUR al tasso di riferimento BCE del 19 ottobre 2026 (1 EUR = 1,1225 USD), fonte: BCE. Gli importi convertiti sono stime, non prezzi di acquisto locali.

Chi gestisce JevBench

JevBench è ospitato su Benchmark Heaven. Il sito e il repository GitHub lo descrivono come un progetto open source amatoriale, con licenza MIT, di Florian Standhartinger, che su X usa il nome @airesearch12: la stessa persona ringraziata da Kinas. Il sito dichiara di confrontare i modelli «indipendentemente da TypeSafe AI». Il nome e la metrica derivano da Jev: i limiti di costo e tempo sono calcolati rispetto a Jev, mentre Jev 1.13.0 compare come riferimento fuori classifica. Sul sito non ho trovato informazioni su eventuali legami dell’autore con TypeSafe o con Kinas. Una parte delle attività è pubblica, mentre la maggioranza è sigillata per impedire ai modelli di impararle. L’autore descrive le modifiche alla metodologia nelle note di ogni versione.

È utile ricordare che questa è una delle diverse classifiche disponibili. Nel Decision Index di Artificial Analysis, aggiornato al 19 ottobre, è in testa d1-ultra di Liquid AI con 65,2 punti, davanti a Jev 1.13; basal-omni non è stato valutato.

Tre dimensioni e il benchmark dell’autore

Il punteggio v1 deriva da un insieme nascosto di decisioni in polacco e inglese, distribuite in 10 categorie e preparate dall’autore stesso: è quindi un risultato del produttore, non una misurazione indipendente. Secondo le schede dei modelli, con la soglia predefinita dell’1% di errore ultra accetta automaticamente il 56,8% delle decisioni e passa le altre a una persona. Le categorie più deboli di tutte le versioni riguardano regole con soglie precise e date. L’autore consiglia di gestire questi casi con il codice.

Dal 19 ottobre mini e max sono disponibili anche in formato GGUF per Ollama e llama.cpp, FP8 per vLLM e MLX per Mac. Sono usciti insieme al motore basal 2.2 e al suo nuovo strumento per la calibrazione con dati personalizzati: basal 2.2 e basal-calibrate.

Chi è Remek Kinas

Remigiusz Kinas lavora come Principal AI Researcher in Ingenix.ai, azienda di Varsavia che sviluppa modelli AI per la biologia e la ricerca clinica. È tra i creatori dei modelli polacchi Bielik e ha il titolo di Kaggle Grandmaster. basal è un suo progetto personale: il codice del motore è disponibile sul suo GitHub (rkinas/basal), mentre i modelli sono sul profilo Remek di Hugging Face. La versione 2.2 include anche correzioni di alcune persone della comunità.

Ho provato la versione più piccola

Il 19 ottobre ho eseguito basal-omni-1.0-mini in formato GGUF Q8_0 (7,9 GB) con Ollama su una RTX 4090, usando il mio insieme di 50 richieste di assistenza in polacco e 10 decisioni sull’uso di strumenti. Avevo già usato lo stesso insieme il 13 ottobre per provare i modelli della classifica AA. Mini ha assegnato il reparto corretto a 42 richieste su 47, valutato la priorità correttamente in 47 casi su 50 e scelto lo strumento giusto in 10 casi su 10. È una richiesta in più rispetto a Jev 1.13 sullo stesso insieme, con una latenza mediana di 137 ms per decisione in locale. Il test è stato svolto in polacco: le richieste erano in polacco, non in italiano. Trovi le istruzioni dettagliate e tutti i risultati in basal in locale: Ollama, llama.cpp e Mac.

A chi può servire

• Alle aziende che classificano grandi quantità di testo in polacco (richieste di assistenza, email, documenti) e non vogliono inviare i dati a un’API esterna. La licenza Apache-2.0 consente l’uso commerciale.
• Ai team che sviluppano agenti AI e hanno bisogno di decidere rapidamente se usare uno strumento, chiedere chiarimenti o rifiutare, con un livello di sicurezza espresso in numeri.
• Non serve per scrivere testi. basal non risponde ai clienti e non prepara riassunti: per questi compiti serve ancora un normale modello linguistico.

// continua a leggereI migliori modelli aperti per immagini AI 2026: classificaBenchmarkModelli decisionali vs LLM: quanto risparmi su un milione di classificazioniBenchmarkModelli video open source 2026: MAGI-2, Wan, LTX e MiniMax H3Benchmark

Kinetyra