Test Claude Fable 5.1: un compito lo ha bloccato completamente
Abbiamo testato Claude Fable 5.1 il giorno del lancio con sei compiti in polacco. Il nuovo modello si è bloccato su un esercizio elementare senza dare risposta.
Aggiornamento (9 novembre 2026): sono usciti Claude Fable 5.2 e Mythos 5.2 - prezzi, accesso e benchmark nella mia guida a Claude Fable 5.2.
👁 116 letture
Abbiamo testato Claude Fable 5.1 il giorno del lancio con sei compiti in lingua polacca. Il nuovo modello si è bloccato su un esercizio elementare senza dare alcuna risposta, ma dove ha funzionato ha mostrato buone prestazioni.
Il lancio di un modello segue sempre lo stesso rituale: il produttore mostra grafici in cui la novità supera la versione precedente, mentre le misurazioni indipendenti arrivano qualche giorno dopo. Nel mezzo c’è un vuoto in cui non si sa nulla di certo. Abbiamo deciso di colmarlo a modo nostro e la sera del giorno di lancio abbiamo sottoposto Claude Fable 5.1 a una serie di compiti in polacco che usiamo per testare i modelli da metà agosto.
Il metodo è noioso ed è proprio per questo che funziona. Sei compiti, ciascuno con un risultato inequivocabile: declinazione di nomi propri stranieri, numerali collettivi, maiuscole e minuscole, participi, virgole e riscrittura di una frase da burocratese a linguaggio comprensibile. Stessa temperatura 0,2, stesso limite di risposta, stesso limite di tempo. Accanto a Fable 5.1 abbiamo messo il suo predecessore, Fable 5, e Opus 5, cioè il modello che la stessa azienda vende a metà prezzo.
Il compito che il nuovo modello non ha completato
L’evento più interessante si è verificato nel secondo compito, quello sui numerali. Fable 5.1 non ha risposto. Non ha sbagliato, non si è rifiutato, semplicemente non ha restituito nulla per tre minuti, finché non abbiamo chiuso la connessione. Zero token in uscita, zero costi, nessuna risposta.
Non si tratta di un caso isolato. Quando abbiamo eseguito lo stesso set ad agosto, Fable 5 si è comportato esattamente allo stesso modo: si è bloccato sul compito di declinazione dei nomi propri ed è rimasto fermo finché non è scaduto il limite di cinque minuti. In altre parole, questa famiglia di modelli ha un problema ricorrente con il bloccarsi su brevi compiti linguistici, e la nuova versione non lo ha risolto. Nello stesso test Fable 5 e Opus 5 hanno risposto ai numerali senza esitazioni, in meno di dieci secondi, ed entrambe le risposte erano corrette.
Vale la pena sapere che parliamo di un compito che nelle scuole polacche si fa alle elementari: cinque bambini, due ragazzi, quattro donne, tre studenti hanno superato l’esame, sette automobili. Non c’è alcuna trappola oltre alla lingua polacca stessa.
Dove ha risposto, è andato molto bene
Il resto della misurazione appare favorevole per la nuova versione. Fable 5.1 ha risolto correttamente i restanti cinque compiti ed è stato il più veloce dei tre: in media 6,5 secondi per risposta, contro 7,2 secondi di Fable 5 e 8,2 secondi di Opus 5.
La differenza qualitativa più evidente è emersa nel compito su maiuscole e minuscole. Entrambi i modelli Fable hanno corretto la frase secondo la norma polacca: sindaco di Varsavia in minuscolo, ufficio comunale come nome non ufficiale in minuscolo, signor direttore in minuscolo, e Ministero della Digitalizzazione e Natale in maiuscolo. Opus 5 ha lasciato Ufficio Comunale e Signor Direttore in maiuscolo, commettendo esattamente l’errore più frequente nei documenti ufficiali polacchi.
Un dettaglio che ci ha divertito: nel compito sulle virgole il testo in input era privo di segni diacritici, perché così lo forniamo dall’inizio. Fable 5.1 è stato l’unico a ripristinare spontaneamente i caratteri diacritici polacchi nell’intero paragrafo, anche se nessuno glielo aveva chiesto. Fable 5 e Opus 5 hanno educatamente lasciato il testo così com’era. Zelo eccessivo, ma in senso positivo.
Quanto è costato
L’intero set di sei compiti ci è costato 7 centesimi su Fable 5.1, quasi 9,6 centesimi su Fable 5 e poco meno di 6 centesimi su Opus 5. Fable 5.1 è risultato più economico del predecessore nonostante la tariffa identica per token, perché semplicemente ha parlato meno: nella correzione dei participi si è fermato a 88 token dove Fable 5 ne aveva bisogno di 257 e Opus 5 addirittura 358.
C’è però un’eccezione che rovina questo quadro. Nel compito sulle maiuscole Fable 5.1 ha consumato 675 token in uscita per restituire una risposta identica carattere per carattere a quella che Fable 5 aveva dato in 359 token. Per esattamente lo stesso risultato abbiamo pagato quasi il doppio. Per una singola frase sono spiccioli, ma per migliaia di query al giorno diventa una voce di budget.
Cosa significa per la scelta del modello
Fable 5.1 costa 10 dollari per milione di token in input e 50 per milione in output. Opus 5 della stessa casa costa 5 e 25, cioè esattamente la metà. Nel nostro test in polacco il modello più costoso ha vinto un compito, ne ha perso uno per mancanza di risposta ed è stato più veloce di un secondo e mezzo per query.
Non è un risultato che giustifichi il doppio del prezzo per scrivere e redigere in polacco. Se lo fai quotidianamente, il più economico Opus 5 farà il lavoro altrettanto bene, e con testi più lunghi ti lascerà in tasca metà della spesa. Fable 5.1 si difende altrove, nel codice e nei lunghi compiti di ricerca, che questo set volutamente non tocca.
Una precisazione che ci facciamo da soli: questa è una misurazione del giorno di lancio, su sei compiti e un’unica esecuzione ciascuno. Non è un benchmark con centinaia di ripetizioni e non pretende di esserlo. Mostra come i modelli si sono comportati sulla nostra scrivania la prima sera, e mostra una cosa che nessun materiale ufficiale mostrerà: che la nuova versione può bloccarsi su un compito da scuola media.
Ripeteremo lo stesso set tra qualche giorno, quando il traffico del lancio sarà calato, e verificheremo se il blocco sui numerali scomparirà. Se rimarrà, significherà che il problema risiede nel modello, non nel carico dei server.
Google · Le tue fontiPiù in alto su Google con un solo clicAggiungi alle fonti preferite →Domande frequenti
Fable 5.1 gestisce il polacco meglio del più economico Opus 5?
Nel test su sei compiti Fable 5.1 ha vinto un compito e ne ha perso uno per mancanza di risposta, pur essendo più veloce di un secondo e mezzo per query. L’autore afferma che il risultato non giustifica il doppio del prezzo per scrivere e redigere in polacco.
Perché Fable 5.1 è costato meno del suo predecessore, se le tariffe per token sono identiche?
Fable 5.1 ha generato risposte più brevi - ad esempio nella correzione dei participi si è fermato a 88 token, mentre Fable 5 ne richiedeva 257 e Opus 5 addirittura 358. L’eccezione è stata il compito sulle maiuscole, dove Fable 5.1 ha consumato 675 token in uscita per una risposta identica a quella che Fable 5 aveva dato in 359 token.
In cosa consiste il problema di blocco dei modelli Fable?
Fable 5.1 non ha restituito alcuna risposta sul compito dei numerali - non ha sbagliato né si è rifiutato, semplicemente per tre minuti non ha generato alcun token in uscita. Un problema identico si era verificato in precedenza con Fable 5, che si era bloccato sul compito di declinazione dei nomi propri ed era rimasto fermo per cinque minuti.
More on this from NITIDO
magazine·GPT-6 Astra benchmark: 3 test in cui perde contro i rivaliAbbiamo analizzato tutti i benchmark di GPT-6 Astra. Nella maggior parte domina, ma ci sono tre test in cui Claude e altri modelli fanno meglio.