› Il watermarking testuale basato su SynthID-Text di Google può alterare le risposte dei modelli linguistici a richieste dannose, incluso il superamento di guardrail di sicurezza, secondo una ricerca pubblicata da Lasso Security.
› La scoperta arriva mentre Anthropic ha comunicato che i futuri modelli Claude adotteranno proprio SynthID-Text, in risposta alla normativa europea che impone l'identificazione dei contenuti generati dall'intelligenza artificiale.SynthID-Text funziona introducendo una chiave segreta nel processo di selezione del prossimo token: invece di usare un generatore di numeri casuali generico, il sistema assegna punteggi nascosti ai candidati tramite un meccanismo chiamato tournament sampling.
› Due token si confrontano in ogni turno, quello col punteggio più alto avanza, finché non viene selezionato il vincitore finale.
› Chi conosce la chiave può verificare se un testo è stato prodotto da quel sistema.La ricercatrice Andrea Siposova di Lasso Security ha testato la configurazione non-distortionary di SynthID-Text su sei modelli open-weight, confrontando le risposte con e senza watermarking di fronte a prompt dannosi.«Rispetto agli stessi modelli senza watermarking, cambierà sicuramente il loro comportamento, soprattutto quando li mettiamo in condizioni avversariali, o quando questi modelli devono invocare strumenti mentre operano come agenti»- Andrea Siposova, Lasso SecurityL'effetto risulta particolarmente marcato quando le richieste dannose vengono combinate con tecniche di prompt-injection.