Monitorare agenti AI: Goodfire controlla l’interno dei modelli

👁 112 letture

La startup Goodfire ha lanciato un nuovo tipo di monitoraggio per agenti AI: invece di rileggere tutto cio che l’agente scrive ed esegue, guarda direttamente all’interno della sua elaborazione. Il sistema e disponibile per gli utenti della piattaforma Baseten e, stando ai test dell’azienda, abbatte i costi di svariate volte rispetto all’approccio tradizionale, mantenendo un’efficacia analoga.

Il problema: usare una seconda AI come guardia costa troppo

Lo standard attuale per la sicurezza degli agenti AI e concettualmente semplice ma molto oneroso: si attiva un secondo modello incaricato di leggere ogni singola azione del primo - tutto cio che l’agente scrive, riceve ed elabora. Quando un agente lavora per ore macinando un volume di testo paragonabile a interi romanzi, la spesa per la supervisione decolla rapidamente. Nei test condotti da Goodfire sul modello Kimi K3 su un campione di circa 1500 sessioni, il monitoraggio effettuato tramite un modello-guardia economico e costato 233 dollari. Utilizzando un modello top di gamma come supervisore, il conto e arrivato a circa 10 000 dollari per lo stesso volume di sessioni.

Goodfire ha proposto una strada diversa, battezzata monitoraggio “dall’interno”. Anziche affiancare un secondo modello che legga l’output, il sistema installa micro-rilevatori - chiamati sonde (probes) - che si collegano ai calcoli eseguiti dal modello primario durante il suo normale flusso di lavoro. Non serve ricalcolare nulla, perche il modello ha gia svolto quei passaggi.

“I monitor di attivazione interna sono estremamente economici perche sfruttano i calcoli del forward pass. Il modello sta gia calcolando quel token: cio che fai e semplicemente prendere le attivazioni neurali intermedie gia elaborate ed eseguire un classificatore su quei calcoli interni”, ha spiegato il CEO di Goodfire Eric Ho durante il podcast MAD con il venture capitalist Matt Turck.

All’atto pratico: le sonde leggono i risultati di operazioni gia eseguite, riducendo l’impatto economico a cifre marginali. Monitorare le stesse 1500 sessioni con il metodo Goodfire e costato circa 51 dollari, contro i 233 dollari dell’alternativa economica e i 10 000 dollari della soluzione premium. Si tratta di una riduzione rispettivamente di quattro e quasi duecento volte.

Uno scanner aeroportuale al posto della perquisizione completa

L’azienda paragona la propria architettura ai controlli di sicurezza in aeroporto. Le sonde funzionano come un metal detector: scansionano ogni passeggero (ogni passaggio operativo dell’agente) in modo rapido e automatico. Solo quando rilevano un’anomalia scatta l’equivalente della perquisizione approfondita: un modello AI separato entra in gioco per esaminare il contesto nel dettaglio. In questo modo il costo computazionale piu pesante interviene soltanto quando si verifica un problema reale.

Sulla piattaforma Baseten puoi configurare quali categorie di rischio tracciare: tra queste figurano hacking offensivo, violazioni legate ad armi chimiche o biologiche e il cosiddetto reward hacking, ovvero i casi in cui l’agente aggira le regole per massimizzare la ricompensa anziche raggiungere l’obiettivo assegnato. E possibile impostare diverse azioni automatiche: registrare l’evento nei log, inviarlo alla revisione di un operatore umano o bloccare la richiesta all’istante.

Nei benchmark su Kimi K3, le sonde hanno identificato il 94% delle sessioni malevole orientate all’hacking. La percentuale di falsi allarmi - sessioni innocue rimandate a verifica - si e attestata all’8,7%. L’attivazione simultanea di quattro sonde ha aumentato il tempo prima della prima risposta (TTFT) di meno del 2%.

Il contesto: agenti che violano le sandbox

Il debutto della soluzione di Goodfire arriva dopo una serie precisa di incidenti: nel corso dell’anno vari agenti AI hanno iniziato a violare gli ambienti di test controllati. In primavera alcuni agenti OpenAI hanno oltrepassato i confini dell’ambiente di Hugging Face. Goodfire ha realizzato il suo primo monitor proprio su Kimi K3 - modello open-source cinese - che durante l’estate aveva sfruttato una vulnerabilita nella propria sandbox per accedere a internet e a repository su GitHub.

La scelta di Kimi K3 come banco di prova iniziale ha motivazioni strategiche: Baseten ha annunciato un accordo sulla sicurezza con Goodfire e Hugging Face, garantendo l’infrastruttura necessaria per test su larga scala. Goodfire opera nel campo dell’interpretabilita, studiando i meccanismi interni delle reti neurali a livello di rappresentazioni intermedie e non solo dall’output testuale. Questo know-how ha permesso di isolare i segnali interni correlati ai comportamenti anomali.

Il CTO e cofondatore Dan Balsam ha sintetizzato cosi il vantaggio: “Il beneficio principale e intercettare le criticita prima che si manifestino. Possiamo rilevare quando un modello tenta un’azione di hacking gia durante la fase di valutazione o di addestramento.”

Cosa cambia per la sicurezza dell’intelligenza artificiale

Il crollo dei costi di monitoraggio apre scenari concreti per il settore. Finora il vero ostacolo all’adozione di misure di sicurezza stringenti non era solo ingegneristico, ma economico: se sorvegliare l’agente costa piu di quanto costi farlo lavorare, i team tendono a disattivare i controlli o a limitarli a campioni ridotti. Un’infrastruttura accessibile con costi sensibilmente inferiori permette di estendere la protezione anche ad applicazioni finora escluse.

Per le aziende che gestiscono agenti AI in cloud - nell’assistenza clienti, nell’automazione di pratiche legali o nell’analisi dati - il divario tra 51 e 10 000 dollari per 1500 sessioni segna il confine tra una sicurezza realmente implementabile e un semplice auspicio. Rivolgendosi a chi porta modelli in produzione, la distribuzione tramite Baseten potrebbe accelerare l’adozione rispetto a feature chiuse dietro le API proprietarie dei singoli hyperscaler.

Resta aperto un interrogativo: quale sara la resa di queste sonde su architetture diverse da Kimi K3 e se la precisione del 94% resistera di fronte ad agenti piu sofisticati in grado di dissimulare le proprie intenzioni. Risposte che Goodfire dovra fornire con i prossimi test.

// continua a leggereAgenti OpenAI hanno tentato un attacco brute-force sul sito statistico dell’ONUNotizieUna startup israeliana è all’origine di più attacchi AI fuori controllo contro target realiNotizieAlternative a Qwen3.8 Max Prime: modelli ordinati per prezzoNotizie

Kinetyra