Dizionario IA / Jailbreak
🛡️ Sicurezza e qualità
Jailbreak
Tentativo di aggirare le protezioni del modello con un prompt costruito in modo astuto.
Il jailbreak è un tentativo di aggirare le protezioni del modello tramite un prompt costruito in modo astuto: giochi di ruolo, scenari ipotetici, riformulazioni multiple - tutto per far fare al modello qualcosa che secondo le regole non dovrebbe fare. Tra i creatori di protezioni e chi le viola c'è una corsa continua; i trucchi pubblicati smettono rapidamente di funzionare, ne appaiono di nuovi. Per le aziende che implementano l'AI la conclusione è pratica: non bisogna presumere che le barriere del modello siano invalicabili - i limiti critici vanno fatti rispettare anche al di fuori del modello stesso.
Concetti correlati