› IBM Research ha rilasciato ALTK-Evolve, un benchmark progettato per misurare la consistenza degli agenti AI - ovvero la capacità di replicare un risultato corretto su esecuzioni multiple dello stesso compito, non solo di ottenerlo una volta.Il problema che ALTK-Evolve affronta è noto tra chi sviluppa sistemi agentici: un agente può superare un task in una valutazione e fallire nella successiva, pur affrontando condizioni identiche.
› Le metriche tradizionali - basate sul tasso di successo medio su un insieme di test - non catturano questa variabilità.
› Un sistema può ottenere uno score alto per aggregazione statistica, mascherando un comportamento fondamentalmente instabile.Il benchmark introduce una distinzione esplicita tra accuratezza (quante volte l'agente riesce) e consistenza (se riesce ogni volta che dovrebbe).
› Questa separazione permette di identificare agenti che performano bene in media ma sono inaffidabili in produzione - un divario critico per applicazioni reali dove la ripetibilità conta quanto il risultato.ALTK-Evolve è costruito su task che evolvono nel tempo, così da testare anche la stabilità del comportamento agentivo di fronte a variazioni graduali del contesto - non solo su istanze statiche.