Il watermarking AI può alterare il comportamento dei modelli di fronte a prompt pericolosi

👁 114 letture

Il watermarking testuale basato su SynthID-Text di Google può alterare le risposte dei modelli linguistici a richieste dannose, incluso il superamento di guardrail di sicurezza, secondo una ricerca pubblicata da Lasso Security. La scoperta arriva mentre Anthropic ha comunicato che i futuri modelli Claude adotteranno proprio SynthID-Text, in risposta alla normativa europea che impone l’identificazione dei contenuti generati dall’intelligenza artificiale.

SynthID-Text funziona introducendo una chiave segreta nel processo di selezione del prossimo token: invece di usare un generatore di numeri casuali generico, il sistema assegna punteggi nascosti ai candidati tramite un meccanismo chiamato tournament sampling. Due token si confrontano in ogni turno, quello col punteggio più alto avanza, finché non viene selezionato il vincitore finale. Chi conosce la chiave può verificare se un testo è stato prodotto da quel sistema.

La ricercatrice Andrea Siposova di Lasso Security ha testato la configurazione non-distortionary di SynthID-Text su sei modelli open-weight, confrontando le risposte con e senza watermarking di fronte a prompt dannosi.

«Rispetto agli stessi modelli senza watermarking, cambierà sicuramente il loro comportamento, soprattutto quando li mettiamo in condizioni avversariali, o quando questi modelli devono invocare strumenti mentre operano come agenti»- Andrea Siposova, Lasso Security

L’effetto risulta particolarmente marcato quando le richieste dannose vengono combinate con tecniche di prompt-injection. Istruzioni normalmente rifiutate vengono eseguite, in alcuni casi, una volta attivato il watermarking. Il meccanismo non altera solo la scelta delle parole ma anche quali strumenti un agente decide di invocare.

Cosa significa nella pratica. Chi sviluppa applicazioni basate su LLM - specialmente agenti con accesso a strumenti esterni - deve includere il watermarking nella propria pipeline di test sulla sicurezza, non trattarlo come un componente neutro. I modelli con watermarking attivo vanno sottoposti agli stessi attacchi avversariali usati nella valutazione standard: il profilo di rischio cambia, e ignorarlo espone le applicazioni a vulnerabilità che non emergono nei test condotti senza watermarking.

// continua a leggereGoogle Labs Playground: creare giochi via prompt nel browserNotizieSicurezza AI: perche i modelli non sapranno mai dire di noStato dell'IAbasal-omni: primo tra i modelli aperti su JevBenchBenchmark

Kinetyra