› Il team di IBM Research ha pubblicato su Hugging Face un'analisi del problema della ripetibilità degli agenti AI, che evidenzia una frattura fondamentale tra ciò che mostrano i benchmark e ciò di cui hanno realmente bisogno gli utenti in produzione.Un agente ReAct basato su GPT-4.1, testato sul dataset AppWorld test_normal, ottiene una risposta corretta in media nel 77,4% dei casi.
› È il numero che vedi nelle classifiche.
› Ma se ripeti lo stesso task cinque volte e richiedi che l'agente superi tutti e cinque i tentativi, la percentuale scende al 53,0%.
› Il gap è di 24,4 punti percentuali.