Test 11 modelli AI: GPT-6 Astra vince, ma il test sbagliava

👁 120 letture

Abbiamo costruito un test per undici modelli: nove compiti di codice, traduzione e rispetto delle istruzioni, ciascuno verificato automaticamente per evitare valutazioni soggettive. Dopo aver esaminato le risposte, è emerso che su un compito il nostro sistema automatico assegnava i punti al contrario. I modelli a cui aveva dato zero avevano risposto correttamente, quelli con un punto sbagliavano.

Questo è più interessante della classifica stessa, quindi iniziamo da qui.

Il compito dove ha sbagliato il test, non i modelli

Abbiamo dato ai modelli questo codice in PHP chiedendo di indicare l’errore in una frase:

foreach ($lista as $i => $el) {
    if ($el == null) unset($lista[$i]);
}
echo count($lista);

Le risposte si sono divise in due campi.

Campo uno: l’errore è rimuovere elementi dall’array durante l’iterazione, perché questo rompe il ciclo e salta elementi.

Campo due: l’errore è il confronto debole ==, che oltre a null cattura anche zero, stringa vuota, false e array vuoto, quindi rimuove più di quanto dovrebbe.

Il nostro sistema automatico cercava nella risposta parole sulla modifica durante l’iterazione, quindi premiava il campo uno. Abbiamo eseguito questo codice sul server, su PHP 8.4.25, e il risultato è inequivocabile.

1) solo null: rimasti 4 su 7, valori: a,b,c,d
   iterazione ha saltato elementi? NO, ha rimosso esattamente 3 null
2) con zeri e vuoti: rimasti 5 su 10, valori: 'a','b','c','d','0'

Rimuovere nel ciclo non ha rotto nulla. In PHP il ciclo per valore lavora su una copia dell’array, quindi cancellare all’interno è sicuro. Invece il confronto debole ha eliminato zero, stringa vuota, false e array vuoto, esattamente ciò di cui parlava il campo due.

Il campo uno ha ripetuto una regola vera in altri linguaggi. Il campo due conosceva PHP.

Chi ha riconosciuto il vero errore

Hanno risposto correttamente cinque modelli su undici: GPT-6 Astra, Claude Fable 5.1, Gemini 3.8 Flash, GLM 5.3 Flash e Kimi K3. Gli altri sei hanno fornito la regola sull’iterazione o, nel caso di Ministral, qualcos’altro ugualmente sbagliato.

Questa è una divisione che coincide con il prezzo: l’hanno riconosciuto i modelli di fascia alta. Non è sempre così e tra poco mostreremo un compito dove è stato il contrario.

Risultati dopo la correzione

Di seguito il punteggio dopo aver corretto questo compito. Riportiamo anche il costo dell’intero set e il tempo, perché nella scelta di un modello per il lavoro uno senza l’altro non significa nulla.

Il più costoso non ha vinto

Claude Fable 5.1 è costato 0,11503 dollari, cioè più del doppio del vincitore, e ha finito con un punto in meno. Gemini 3.8 Flash ha ottenuto lo stesso punteggio di Fable con un costo inferiore di due terzi.

All’altro estremo della classifica Ministral 14B ha ottenuto cinque punti per 0,00019 dollari, cioè lo stesso di Claude Haiku 4.5, che è costato diciassette volte di più. L’ha fatto in 6,2 secondi, il più veloce di tutti gli undici.

Il codice è risultato sorprendentemente uniforme

Nel gruppo di compiti di programmazione, dopo la correzione, le differenze sono minori di quanto ci aspettassimo. La funzione per verificare il numero NIP con checksum l’hanno scritta tutti. Anche la query con somma, raggruppamento e limite a dieci risultati è passata per tutti.

Tutta la differenza si è fatta sul compito con l’errore, cioè dove bisognava non tanto scrivere codice, quanto comprenderlo. Questa è probabilmente l’osservazione più pratica di tutto il test: scrivere codice è oggi risolto anche nei modelli economici, leggere il codice altrui no.

Le istruzioni sono il punto debole di tutti

Il gruppo di compiti peggiore è stato quello in cui contava rispettare vincoli rigidi. Solo GPT-6 Astra li ha superati tutti e tre.

Il compito diceva: scrivi due frasi sul caffè in polacco, ma non usare mai la lettera “a”. Ci sono riusciti tre modelli su undici.

I modi di fallire sono i più interessanti. Due modelli hanno scritto frasi corrette, ma le hanno precedute con un’introduzione tipo “Ecco due frasi senza la lettera a”, quindi si sono auto-eliminati con il proprio annuncio. Uno ha iniziato a inventare parole inesistenti: “Kow jest gorący, czarny napój“. Un altro ha aggiunto alla fine una nota che la stessa parola “kawa” contiene la lettera vietata, come se volesse giustificarsi.

Le risposte corrette erano così: “Espresso pobudzi umysł. Jego woń koi zmysły“ (“L’espresso stimola la mente. Il suo aroma calma i sensi”) e “Ciemny, gorzki płyn w kubku budzi o świcie uśpione zmysły“ (“Il liquido scuro e amaro nella tazza risveglia all’alba i sensi assopiti”).

Conclusione pratica: se costruisci qualcosa che deve rispettare un formato rigido, verificalo separatamente. Un modello che scrive magnificamente può contemporaneamente non saper contare le frasi.

Calchi dall’inglese

Abbiamo chiesto l’equivalente polacco dell’espressione “it’s not rocket science”. Otto modelli hanno fornito qualcosa di naturale, più spesso “to żadna filozofia“ (“non è filosofia”). Tre sono andati sul calco: “to nie jest żadna rakietowa nauka“ (“non è scienza missilistica”), “to nie jest fizyka jądrowa“ (“non è fisica nucleare”), “to nie jest rakieta, to jest prostsze niż myślisz“ (“non è un razzo, è più semplice di quanto pensi”).

Questa è una differenza che non si vede nei test fatti in inglese, ma che decide se un testo suona come scritto da un madrelingua polacco.

Il nostro sistema automatico ha mostrato qui una seconda debolezza. Ha considerato errate le risposte “to nie jest wyższa matematyka“ (“non è matematica superiore”) e “to nie jest zajęcie dla głupich“ (“non è roba da stupidi”), perché non erano nella nostra lista di formulazioni ammesse. Entrambe le espressioni sono perfettamente naturali in polacco. Non abbiamo modificato il punteggio per non piegarlo alle nostre impressioni, ma lo annotiamo: in questo compito due modelli hanno ricevuto zero per una risposta che un umano avrebbe considerato buona.

GLM 5.3 Flash: ha vinto un test, perso l’altro

Dobbiamo aggiungere qui qualcosa che complica la nostra conclusione precedente. Nel test di grammatica polacca GLM 5.3 Flash ha ottenuto il punteggio pieno con il costo più basso e l’abbiamo chiamato la scelta predefinita per il testo polacco.

In questo test lo stesso modello ha impiegato 353 secondi per nove compiti, cioè da quattro a sette volte più a lungo del resto del gruppo, e tre volte ha restituito una risposta vuota. Ha finito a metà classifica.

Entrambi i risultati sono veri e non c’è contraddizione: GLM è molto bravo in polacco e molto lento nei compiti che richiedono ragionamento più lungo. Il motivo l’abbiamo descritto separatamente: in questo modello non si può disattivare il ragionamento, quindi con un’istruzione difficile brucia il budget di token e a volte non si lascia spazio per la risposta.

Questo è esattamente il tipo di conclusione che non si può trarre da un singolo test, e il motivo per cui descriviamo il metodo, non solo il risultato.

Come abbiamo misurato e cosa questo test non dice

Nove compiti, undici modelli, un tentativo per compito, limite di 1.600 token per risposta nella prima parte e 3.000 in questa. Costi letti dal campo di fatturazione restituito dall’interfaccia, non dal listino, perché il prezzo dalla scheda del modello può differire dalla fattura anche di quattordici volte. L’intero test è costato 0,34 dollari.

Cosa non dice: non abbiamo verificato la scrittura di testi lunghi, la conoscenza fattuale né il lavoro su contesti ampi. Nove compiti sono troppo pochi per una classifica assoluta e non lo sosteniamo.

E la cosa più importante, perché questa è la morale di tutto questo testo: un test automatico è buono solo quanto il criterio che ci hai scritto dentro. Il nostro era sbagliato su un compito su nove ed è emerso solo leggendo le risposte. Se valuti i modelli con un sistema automatico e non leggi i risultati, potresti pubblicare una classifica che misura la conformità al tuo errore.

Lo stesso test, ma dal punto di vista del costo

Sopra contiamo i punti. Se ti interessa quanto costa il lavoro stesso, l’abbiamo misurato separatamente su un compito più lungo: quanto costa un articolo scritto dall’AI. È risultato da quattro centesimi di centesimo a diciannove centesimi per lo stesso testo.

// continua a leggereOpenAI ha fermato il rilascio previsto di GPT-6.1 Astra. Sol è un modello distintoBenchmarkGPT-6.1 Astra bloccato: OpenAI non lancerà il modelloNotizieAI Act chatbot: test 9 modelli, 8 sbagliano le dateMagazine