Allucinazione chatbot: operazione militare USA quasi avviata

👁 114 letture

Nella primavera di quest’anno, aerei militari americani erano già in volo quando si è scoperto che il rapporto di intelligence su cui si basava un’operazione armata contro una nave cinese era stato inventato da un chatbot. L’operazione è stata annullata all’ultimo momento. L’intero episodio è stato descritto venerdì dalla CNN, e il resoconto di TechCrunch va letto non come un aneddoto sull’errore di un singolo analista, ma come la descrizione di un guasto procedurale concreto che ha una sua aritmetica.

Secondo la fonte, un analista del Comando Operazioni Speciali ha chiesto a un chatbot di sintetizzare dati da fonti aperte con intelligence classificata sui segnali. Il modello ha interpretato erroneamente il manifesto di carico della nave e ha stabilito che a bordo si trovavano componenti per un programma di armi nucleari. Poi lo stesso analista ha usato lo strumento una seconda volta - questa volta per formattare le conclusioni errate in un riassunto che sembrava un documento ufficiale. Ed è proprio questo secondo passaggio il più pericoloso dell’intera storia, perché l’allucinazione ha ricevuto un formato che nei canali di comando viene letto come un prodotto di intelligence.

Quanti rapporti falsi passano un livello di controllo

Ho fatto un calcolo semplice che chiunque può ripetere su un foglio. Prendiamo due parametri. Il primo è la percentuale di risposte contenenti affermazioni false in compiti di sintesi e collegamento di documenti. Nelle classifiche pubbliche sulle allucinazioni nella sintesi di documenti, i migliori modelli scendono sotto il due percento, ma la dispersione nell’intero gruppo va da circa l’uno percento a oltre il dieci - la classifica di Vectara lo mostra chiaramente, mentre test basati su domande di conoscenza, come SimpleQA, danno per molti modelli decine di percentuali di risposte errate a domande fattuali. Il compito dell’incidente descritto - unire dati pubblici con segnali e trarre una conclusione sul carico - è più vicino a questa seconda categoria che alla sintesi di una singola pagina di testo. Ho assunto in modo conservativo il cinque percento.

Il secondo parametro è l’efficacia della verifica umana. Supponiamo che un analista o il suo superiore individui tre errori su quattro, quindi operi con un’efficacia del 75 percento. Questa è un’ipotesi generosa, perché riguarda un documento che di per sé appare professionale e proviene dalla propria unità. Con questi numeri, su mille rapporti cinquanta contengono un errore, di cui dodici e mezzo passano attraverso un livello di controllo. Dodici rapporti falsi su mille - uno su ottanta. Solo l’aggiunta di un secondo livello di verifica indipendente con la stessa efficacia riduce questo risultato a tre su mille, e un terzo a meno di uno.

La conclusione di questo calcolo è brutalmente semplice: in una catena in cui su mille prodotti analitici ne arrivano una dozzina di inventati, un incidente come quello primaverile non è un caso, ma statistica. La domanda non è se accadrà, ma dopo quante migliaia di query. Se in un dato comando i modelli gestiscono diecimila query analitiche all’anno - numero del tutto realistico per uno strumento accessibile da browser - con le mie ipotesi abbiamo centoventcinque prodotti errati all’anno che passano il primo controllo.

Il contesto critico non è solo militare: tribunali e medicina hanno già i loro conti

Il livello militare è il più spettacolare, ma non il primo. Nel sistema giudiziario abbiamo già casi contati: un database gestito dall’avvocato francese Damien Charlotin dal 2023 ha raccolto oltre mille sentenze da tutto il mondo in cui il tribunale ha stabilito che un avvocato ha citato sentenze inesistenti o citazioni fabbricate generate da un modello - il registro è pubblico e aggiornato. Il caso più noto riguarda la reazione del tribunale: nel caso Mata contro Avianca a New York, il giudice P. Kevin Castel ha multato due avvocati di cinquemila dollari ciascuno.

In medicina la scala è diversa, perché lì l’errore non viene individuato dalla controparte. Studi sulla sintesi della documentazione e sulla trascrizione di consultazioni hanno mostrato che strumenti basati su modelli aggiungono alle registrazioni intere frasi che nessuno ha pronunciato - fenomeno descritto tra l’altro nelle analisi di Whisper, dove in parte delle trascrizioni esaminate apparivano frammenti completamente inventati. Un meccanismo, tre settori diversi: il modello genera contenuti che suonano come il prodotto di un esperto e vengono trattati come il prodotto di un esperto.

“È importante che i soldati comprendano l’incertezza insita nella natura dei modelli linguistici. Ma è particolarmente critico per tutte le decisioni che possono portare all’uso della forza - nell’indicazione di obiettivi, nell’analisi di intelligence o nella pianificazione operativa. Queste decisioni hanno conseguenze di vita o di morte” - Jake Steckler, ricercatore presso GovAI ed ex ufficiale dell’esercito USA, in risposta scritta a TechCrunch.

Steckler aggiunge qualcosa di facile da trascurare: secondo lui l’incidente dovrebbe essere un argomento per aggiungere salvaguardie, non per rinunciare agli strumenti. Mettere il ritmo di implementazione sopra tutto porterà a eventi che mineranno la fiducia dei soldati in questi sistemi, e questo alla fine rallenterà l’implementazione stessa.

Cosa significa per i lettori italiani

L’Italia non ha finora un equivalente pubblicamente noto dell’incidente descritto, ma ha strutture che si occupano di AI nella difesa. La NATO ha dal 2021 una strategia AI adottata con sei principi di uso responsabile, in cui sono menzionati separatamente il requisito di identificabilità e la possibilità di interrompere il funzionamento del sistema - il testo dei principi è disponibile pubblicamente.

Qui arriviamo a una lacuna che va chiamata apertamente. Il regolamento UE sull’intelligenza artificiale, l’AI Act, nell’articolo 2 esclude dal suo ambito i sistemi utilizzati esclusivamente per scopi militari, di difesa e di sicurezza nazionale. Ciò significa che il più elaborato regime europeo di requisiti per i sistemi ad alto rischio - documentazione, supervisione umana, registrazione degli eventi - non si applica all’analisi militare. In pratica la responsabilità torna quindi ai principi generali: responsabilità disciplinare e penale del soldato per inadempimento dei doveri e responsabilità civile dello Stato per danni causati nell’esercizio del potere pubblico. Il modello non è un soggetto, quindi non c’è nessuno da incolpare se non la persona che ha cliccato “invia”.

La conseguenza pratica per chiunque lavori con documenti in un’istituzione pubblica, nell’esercito o in un’azienda della difesa è una sola e deriva da ciò che l’analista ha fatto la seconda volta nell’incidente descritto. Non usare mai un modello per formattare risultati che lo stesso modello ha generato. Se un chatbot ha creato contenuti, il suo compito successivo - dare loro l’aspetto di un documento ufficiale - rimuove l’ultimo segnale di avvertimento, che era l’output grezzo e caotico. Separare queste due operazioni tra strumenti diversi e persone diverse non costa nulla ed è la salvaguardia più economica che si possa introdurre già oggi.

Due velocità che si escludono a vicenda

Il Pentagono parla apertamente dell’AI come strumento per accelerare la catena di attacco, affinché i comandanti possano reagire al momento giusto. Il problema è che è la stessa velocità che permette a un’allucinazione di passare attraverso i canali di comando prima che qualcuno chieda della fonte. Mettere questi due obiettivi in una tabella mostra che non sono due aspetti dello stesso processo, ma due funzioni obiettivo opposte.

L’ultima riga di questa tabella è il mio calcolo dall’inizio del testo. La differenza tra dodici e tre rapporti falsi su mille è il prezzo che si paga per il secondo livello di controllo - e l’unico numero che vale la pena mostrare alla persona che decide sulla procedura. Perché in termini di tempo quel secondo livello significa qualche ora di ritardo, mentre in termini di rischio significa ridurre il numero di eventi tipo “aerei già in volo” di tre quarti.

Non c’è in questa storia alcun argomento per eliminare i modelli linguistici dall’analisi. C’è invece un argomento molto forte per trattarli come uno strumento con un coefficiente di errore noto e misurabile - così come nell’esercito si tratta ogni altro sensore. Un radar ha una probabilità definita di falso rilevamento e nessuno lancia un missile dopo un singolo riflesso. Anche un modello linguistico ha quel coefficiente, solo che nessuno l’ha scritto nelle istruzioni.

Fatti verificati il 20 settembre 2026. Fonti: TechCrunch sull’incidente, classifica allucinazioni Vectara, database sentenze giudiziarie con citazioni inventate, strategia AI NATO e principi di uso responsabile. Calcoli propri basati sulle ipotesi indicate nel testo.

// continua a leggereUS Military Almost Boarded Chinese Ship Based on AI HallucinationNotizieSanzioni AI Act: fino a 35 milioni di euro o 7% del fatturatoMagazineCall of Duty Black Ops 7 e l’AI: lo sciopero che nessuno ha notatoMagazine

Kinetyra