Gemini 4 Argon inventa le fonti? Test su 16 pubblicazioni

👁 115 letture

Ho chiesto a Gemini 4 Argon una bibliografia per due tesi di laurea e ho verificato tutte le 16 pubblicazioni indicate. Risultato: 11 esistenti con dati corretti, 3 esistenti ma con errori, come il nome sbagliato di un autore o la rivista errata, e 2 inventate. Nessuno dei due titoli inventati riguardava il tema del bilancio partecipativo in Polonia. Una nota positiva: Argon non ha inventato neanche un DOI. È un netto passo avanti rispetto a Gemini 3.8 Flash, ma il risultato è inferiore a quello di tutti i modelli di punta di Anthropic, OpenAI e Meta. Scopri di più sul modello nella nostra guida a Gemini 4 Argon.

Come ho svolto il test

Ogni modello ha ricevuto lo stesso prompt, una volta sul tema della psicologia e una sul tema delle amministrazioni locali polacche. Questa è la traduzione in italiano del prompt usato per il secondo tema, che nel test era in polacco:

Traduzione del prompt originale in polacco: Sto scrivendo una tesi di laurea sul tema: «Il bilancio partecipativo nelle città polacche: partecipazione dei residenti e ostacoli». Indica 8 pubblicazioni scientifiche (articoli di riviste sottoposte a revisione paritaria oppure libri) su cui posso basare la rassegna della letteratura. Per ciascuna indica: autori, anno, titolo, rivista o casa editrice e DOI, se disponibile. Rispondi esclusivamente in formato JSON: un elenco di oggetti con i campi "autori", "anno", "titolo", "fonte", "doi".

Il primo tema, anch’esso testato in polacco, era: «L’impatto dell’uso dei social media sull’autostima e sui sintomi depressivi negli adolescenti». Ho verificato ogni voce in tre passaggi:

• controllo automatico su Crossref, per DOI e titolo, e su OpenAlex;
• verifica manuale di tutto ciò che le banche dati non trovavano: CEJSH, siti di editori e riviste, cataloghi;
• controllo separato di autori, anno e rivista, perché il titolo può essere autentico mentre gli altri dati sono sbagliati.

Ho assegnato tre verdetti: «corretta» (tutto coincide), «con errori» (la pubblicazione esiste, ma contiene dati errati) e «inventata» (la pubblicazione non esiste). Ho testato Argon il 13 ottobre e i concorrenti il 12 e 13 ottobre, usando lo stesso script.

Social media e depressione: 8 pubblicazioni corrette su 8

Sul tema di psicologia Argon non ha commesso errori. Ha indicato sette articoli in inglese con DOI e l’edizione polacca di un libro di Jean Twenge.

Tutti e sette i DOI rimandano in Crossref esattamente ai titoli indicati.

Bilancio partecipativo in Polonia: 3 pubblicazioni corrette su 8

Il quadro cambia quando si passa alla letteratura polacca sulle amministrazioni locali. Qui Argon ha sbagliato cinque voci su otto.

Il rischio maggiore è che tutti i nomi citati appartengono a studiosi che hanno davvero scritto di bilancio civico. Se cerchi solo il cognome «Guziejewska», trovi un testo sul bilancio partecipativo e puoi pensare che sia tutto corretto. Solo confrontando titolo, anno e rivista si scopre che la pubblicazione citata non esiste. «scritta corrotta nel test originale polacco», invece, non è nemmeno un nome: è una parola deformata al posto di Marzanna.

Un punto a favore: nessun DOI inventato

Sul tema del bilancio Argon non ha indicato alcun DOI. Nel campo scriveva «Assente (non posso verificarlo)» oppure spiegava di non poter verificare il numero senza accesso alle banche dati. È il comportamento giusto: un DOI inventato può sembrare autentico ed è facile copiarlo in una nota senza controllarlo. Per confronto, l’unica voce inventata di Muse Wonder aveva un DOI inesistente, mentre GPT-6 Astra ha indicato un DOI non corrispondente per un articolo autentico. Peccato che Argon non sia stato altrettanto prudente con i titoli.

Confronto con altri modelli

Rispetto a Gemini 3.8 Flash, che ha inventato 7 voci su 16, Argon è un netto passo avanti. Ma tutti i modelli di punta di Anthropic, OpenAI e Meta hanno ottenuto risultati migliori, così come Claude Haiku 5.5 e GPT-6 Luna, che costano meno. Anche Perplexity Sonar Pro, che cerca sul web, ha inventato una voce: avere un motore di ricerca integrato non elimina la necessità di verificare.

Un contrasto interessante: secondo Artificial Analysis, Argon ha un tasso di allucinazione basso nel test AA-Omniscience (15%, contro il 51% di GPT-6 Astra), perché tende a rifiutarsi di rispondere invece di tirare a indovinare. Nel mio test si è rifiutato solo di fornire numeri DOI, mentre ha dato con piena sicurezza i titoli degli articoli polacchi. Inoltre, OpenRouter non ha rilevato token di ragionamento per Argon, mentre Claude Opus 5.5 ne ha usati oltre mille per ogni tema. Non so se questa sia la causa della differenza, ma la terrei presente quando si scelgono le impostazioni.

Come verificare le fonti generate dall’AI

Se stai scrivendo un elaborato o una tesi, considera la bibliografia dell’AI come una lista di piste da seguire, non come un riferimento bibliografico già pronto. Ecco come verifico ogni voce:

• DOI: inserisci il numero su doi.org oppure in Crossref Search. Deve rimandare esattamente al titolo indicato, non a un altro articolo.
• Titolo: cercalo tra virgolette su Google Scholar. Verifica anche nome dell’autore, anno e rivista: sono i dati su cui Argon ha commesso errori.
• Pubblicazioni polacche: Crossref spesso non le indicizza. Nel mio test la ricerca automatica su Crossref non ha trovato nessun articolo in polacco nell’elenco di Argon; OpenAlex ha trovato l’articolo di Borys Martela, mentre per gli altri ho fatto verifiche manuali. Cerca su BazEkon (economia, finanza e amministrazioni locali) e su CEJSH (scienze sociali e discipline umanistiche); per i rapporti di fondazioni e istituti, consulta i rispettivi siti.
• Contenuto: cita solo ciò che hai aperto, anche se si tratta soltanto dell’abstract. Metadati corretti non significano che l’articolo dica ciò che sostiene l’AI.

Altri consigli sono nella guida Allucinazioni dell’AI: come difendersi.

Verdetto

Gemini 4 Argon inventa fonti meno spesso di Gemini 3.8 Flash e non inventa numeri DOI, ma nella letteratura scientifica polacca ha sbagliato cinque voci su otto. Sul tema di psicologia, basato su ricerche in inglese, non ha commesso errori. Per una bibliografia polacca sceglierei Claude Opus 5.5 o Sonnet 5.5, ma verificherei comunque ogni voce. È la mia valutazione sulla base di una sola sessione di test su due temi. Nel testo Gemini 4 Argon in polacco parlo di come scrive in polacco; ho descritto lo stesso test sulle fonti per il modello di Meta nella prova di Muse Wonder.

Domande frequenti

Gemini 4 Argon inventa le fonti?

A volte. Nel mio test ha inventato 2 pubblicazioni su 16 e ne ha citate 3 con dati errati, per esempio il nome sbagliato dell’autore. Tutti gli errori riguardavano la letteratura polacca.

Argon indica DOI autentici?

Sì. I sette DOI indicati erano autentici e corrispondevano ai titoli; quando non conosceva un numero, ha scritto che non poteva verificarlo.

Quale modello inventa meno fonti?

Nel mio test, Claude Opus 5.5 e Claude Sonnet 5.5: 16 voci corrette su 16 ciascuno.

Nota sui cambi: conversione indicativa da USD a EUR al tasso di riferimento BCE del 16 ottobre 2026, 1 EUR = 1,1253 USD. Fonte: BCE. L’importo in euro è una stima, non un prezzo locale.

// continua a leggereQuale AI per la tesi triennale? Test sulle fonti inventateBenchmarkGemini 4 Argon gratis: esiste un accesso gratuito?GuideClaude Opus 5.5 inventa numeri? Test con trappola per il managementBenchmark

Kinetyra