Agent AI GPT-4.1: affidabilità e coerenza dei risultati
IBM Research rivela il gap tra benchmark e uso reale: un agente ReAct con GPT-4.1 passa dal 77,4% al 53% quando deve ripetere lo stesso task cinque volte.
👁 116 letture
Il team di IBM Research ha pubblicato su Hugging Face un’analisi del problema della ripetibilità degli agenti AI, che evidenzia una frattura fondamentale tra ciò che mostrano i benchmark e ciò di cui hanno realmente bisogno gli utenti in produzione.
Un agente ReAct basato su GPT-4.1, testato sul dataset AppWorld test_normal, ottiene una risposta corretta in media nel 77,4% dei casi. È il numero che vedi nelle classifiche. Ma se ripeti lo stesso task cinque volte e richiedi che l’agente superi tutti e cinque i tentativi, la percentuale scende al 53,0%. Il gap è di 24,4 punti percentuali. Sui task più difficili arriva a 30 punti.
La differenza tra queste due metriche non è una curiosità tecnica. In contesto produttivo - verifica di clausole contrattuali, riconciliazione di transazioni finanziarie - un workflow che una volta funziona e una volta fallisce con la stessa richiesta identica è un problema, non una statistica.
Due metriche, due domande
I ricercatori sottolineano un’importante differenza terminologica. Mean@k risponde alla domanda: quanto è bravo l’agente in media? Pass^k (da non confondere con il popolare Pass@k) risponde alla domanda che si pone l’utente reale: l’agente eseguirà correttamente lo stesso task ogni volta? Pass@k è ottimistico - basta un successo su k tentativi. Pass^k è pessimistico - ogni tentativo deve riuscire. La maggior parte dei benchmark riporta solo il primo numero.
Google · Le tue fontiPiù in alto su Google con un solo clicAggiungi alle fonti preferite →Diagnosi e cura
IBM Research ha costruito il Consistency Analyzer - uno strumento che analizza la traiettoria registrata di un agente e cerca i punti decisionali in cui il modello era a un token di distanza dallo scegliere un percorso diverso. Aspetto importante: lo strumento lavora su una singola traiettoria registrata e non richiede ground truth né di rieseguire l’intero task. In ogni punto decisionale recupera k=5 completamenti con una sola chiamata aggiuntiva al modello.
Sulla base di questa diagnosi, il sistema ALTK-Evolve genera le cosiddette consistency guidelines - linee guida di coerenza iniettate nell’agente durante l’inferenza. Risultato: il gap Pass^5 scende da 24,4 a 12,0 pp. Su task dello stesso tipo il risultato Pass^5 cresce di 16,0 pp, su task simili di 13,0 pp. L’accuratezza media non diminuisce.
La metodologia completa e i risultati sono disponibili nel report tecnico su arXiv.
Un promemoria interessante: migliorare l’accuratezza media di qualche punto può valere meno che far smettere all’agente di tirare a sorte la risposta sulla stessa domanda.
More on this from NITIDO
benchmark·Test modelli AI settembre 2026: 7 modelli, 4 compiti, risultatiClaude Opus 5, GPT-6 Astra, Gemini 3.1 Pro e altri 4 modelli messi alla prova con prompt identici: editing, estrazione dati, codice Python e finestra di contesto.