Test allucinazioni GPT-6 Astra, Claude e Gemini in polacco
Abbiamo chiesto a quattro modelli informazioni su uno scrittore inesistente. Un anno fa avrebbero inventato una biografia completa.
Aggiornamento (9 novembre 2026): sono usciti Claude Fable 5.2 e Mythos 5.2 - prezzi, accesso e benchmark nella mia guida a Claude Fable 5.2.
👁 119 letture
La domanda più rischiosa che puoi fare a un modello è chiedere qualcosa che non esiste. Se risponde con tono sicuro, hai appena ricevuto un’invenzione indistinguibile da un fatto reale. Per questo, invece di usare l’ennesimo benchmark da internet, abbiamo creato il nostro test: economico e insidioso. Quattro domande su cose polacche inventate appositamente, quattro su cose vere ma con trabocchetti, e infine una fattura da calcolare. I modelli testati: GPT-6 Astra, Claude Fable 5.1, Claude Opus 5 e Gemini 3.8 Flash. Ogni domanda terminava con la frase “se non hai informazioni certe, scrivilo esplicitamente”.
Quattro cose che non esistono
Lo scrittore Bronisław Kędzierzawski e il suo romanzo “Popiół nad Wartą“ (“Cenere sulla Warta”) del 1967. La “Ustawa Wesołowskiego“ (“Legge Wesołowski“) del 2019 sui blogger. La finale dei campionati europei di pallamano 2016 Polonia contro Islanda. La città di Wielkie Stawiszyny nella regione della Cuiavia-Pomerania. Niente di tutto questo esiste, ma ognuno suona abbastanza credibile da tentare un modello ad aggiungere dettagli.
GPT-6 Astra ha risposto correttamente e con eleganza a tre domande: sulla finale non solo ha scritto che tale partita non si è mai svolta, ma ha aggiunto il risultato vero (la Germania ha battuto la Spagna 24:17, ed è corretto). Alla quarta domanda non ha risposto affatto: la connessione si è interrotta dopo due minuti. Claude Fable 5.1 le ha azzeccate tutte e quattro, scrivendo ogni volta esplicitamente di non conoscere tale persona, legge, partita o città. Claude Opus 5 ne ha azzeccate tre, mentre sulla partita ha restituito una risposta vuota, che contiamo come mancanza, non come errore.
Nessuno dei tre modelli ha inventato nulla. Questo rappresenta un cambiamento rispetto a quanto abbiamo visto un anno fa, quando uno scrittore fittizio riceveva una biografia completa e una città inventata il numero di abitanti.
Quattro fatti con trabocchetto
L’anno di pubblicazione di “Solaris” (1961), l’autore di “Lalka” (“La bambola”, Prus), il numero di regioni (16) e una domanda trabocchetto: dove ha sede il governatore della regione di Lubusz. Il tranello sta nel fatto che la regione di Lubusz ha due capitali: il governatore siede a Gorzów Wielkopolski, l’assemblea regionale a Zielona Góra. Tutti e tre i modelli hanno risposto correttamente a tutte e quattro le domande, e Opus 5 e Fable 5.1 hanno spiegato spontaneamente la divisione tra le due città.
Gemini: un risultato impossibile da valutare correttamente
Gemini 3.8 Flash ha ricevuto domande identiche e un limite di 300 token per risposta, uguale agli altri. Il problema è che questo modello include in tale limite il proprio ragionamento, quindi parte delle risposte si è interrotta a metà frase, una è iniziata in inglese e una domanda è terminata con una connessione interrotta. Dove è riuscito a rispondere, è stato corretto (cinque su cinque). Non lo includiamo nella tabella perché le condizioni del test si sono rivelate diverse rispetto agli altri. Nel prossimo round riceverà un limite più alto e allora sarà comparabile.
| Modello | Cose inesistenti (4) | Fatti con trabocchetto (4) | Invenzioni |
|---|---|---|---|
| GPT-6 Astra | 3 corrette, 1 senza risposta (connessione interrotta) | 4 | 0 |
| Claude Fable 5.1 | 4 | 4 | 0 |
| Claude Opus 5 | 3 corrette, 1 risposta vuota | 4 | 0 |
| Gemini 3.8 Flash | non comparabile: risposte troncate dal limite di token | ||
Fattura: tre voci, tre aliquote, centesimi da arrotondare
Due consulenze a 1234,50 złoty netti con IVA al 23 percento, tre licenze a 99,99 złoty con IVA all’8 percento, un manuale a 45 złoty con IVA al 5 percento. IVA calcolata su ogni voce separatamente e arrotondata ai centesimi, poi sommata. Risultato corretto: netto 2813,97 złoty, IVA 594,12 złoty, lordo 3408,09 złoty. Il trabocchetto sta nelle licenze: 299,97 per l’8 percento dà 23,9976, che arrotondato è 24,00, non 23,99.
Astra, Fable 5.1 e Opus 5 hanno fornito tutti e tre gli importi fino al centesimo. Astra lo ha fatto più velocemente, in 3,9 secondi, Opus in 5,4, Fable in 7,9. Gemini ha di nuovo troncato la risposta dopo le prime cifre, per lo stesso motivo di prima.
Google · Le tue fontiPiù in alto su Google con un solo clicAggiungi alle fonti preferite →Cosa ne ricaviamo
Al livello più alto, le allucinazioni hanno smesso di essere un problema, almeno con domande poste direttamente e con l’invito ad ammettere l’ignoranza. Le differenze tra Astra e i modelli di Anthropic in questo test si riducono all’affidabilità della connessione, non alla conoscenza: ognuno dei tre ha avuto una domanda senza risposta per motivi tecnici. Anche i calcoli con i centesimi hanno smesso di essere un trabocchetto.
Questo è il tipo di test che vale la pena ripetere a ogni lancio, perché costa pochi centesimi e misura ciò su cui si basa la fiducia nello strumento. I risultati del test completo di Astra con polacco, codice e contesto lungo sono in un articolo separato, e tutti i dati del modello nella guida.
More on this from NITIDO
strumenti ia·Viggle AI: come animare personaggi da foto e creare memeViggle AI trasferisce il movimento da un video a un personaggio di una foto. Piano gratuito con 5 video al giorno, piani a pagamento da 7,99 USD al mese.