PIDS-Bench: quanto sono deboli i rilevatori di prompt injection
Un nuovo benchmark IEEE mostra che i rilevatori con F1 > 0,98 bloccano comunque un terzo delle richieste legittime provenienti da fonti esterne.
👁 115 letture
Gli autori del lavoro - Yusuf Khalid Shire e Sang-Chul Kim - hanno pubblicato su IEEE Access (vol. 14, pp. 134184-134205, 2026) un benchmark chiamato PIDS-Bench, che valuta i rilevatori di prompt injection in condizioni significativamente più difficili rispetto a quelle utilizzate normalmente. L’articolo conta 21 pagine, contiene 3 figure e 18 tabelle.
Il problema dell’approccio tradizionale
I rilevatori di prompt injection vengono solitamente valutati con una singola metrica - l’F1 aggregato su dati di test provenienti dalla stessa distribuzione dei dati di training. Gli autori evidenziano che questo approccio nasconde un problema importante: cosa succede con le richieste innocue che il rilevatore classifica erroneamente come attacchi. I falsi allarmi (false positives) hanno un costo operativo diretto, eppure raramente vengono misurati. Il benchmark PIDS-Bench è definito “frozen” (congelato), il che significa che il suo contenuto non cambia - grazie a questo diversi sistemi possono essere confrontati su dati identici.
Cosa misura PIDS-Bench
Il benchmark valuta i rilevatori lungo diverse dimensioni simultaneamente, con soglie decisionali fisse. Il dataset comprende quattro categorie di input: dati dalla distribuzione conforme al training, i cosiddetti “hard-benign prompts” (richieste che imitano la struttura di un attacco ma non hanno intento malevolo), attacchi offuscati (obfuscated attacks) e dati con spostamento di distribuzione sia di dominio che strutturale. Sono stati valutati sette rilevatori: modelli base addestrati, classificatori esterni di prompt injection e classificatori di sicurezza più ampi, mentre come punto di riferimento è stato utilizzato un semplice rilevatore basato su regole.
Risultati principali
Il risultato chiave è il seguente: un rilevatore che raggiunge F1 superiore a 0,98 sul set di test interno classifica comunque erroneamente circa un terzo del sottoinsieme esterno di richieste innocue. Questo sottoinsieme esterno proviene da dataset pubblici ed è limitato a contenuti relativi alla sicurezza. Gli autori hanno verificato l’intero range di soglie decisionali con cinque diverse inizializzazioni (training seeds) - nessun rilevatore interno ha raggiunto contemporaneamente F1 >= 0,95 e tasso di falsi allarmi su hard-benign FPR <= 0,10 su questa distribuzione difficile.
La provenienza dei dati conta
Gli autori hanno scoperto un pattern che hanno chiamato “provenance-sensitive over-defense” - difesa eccessiva sensibile alla provenienza dei dati. L’aggiunta di esempi negativi difficili al training (hard-negative augmentation) elimina quasi completamente il problema del blocco eccessivo su esempi di test accuratamente preparati, ma non lo risolve su dati provenienti da fonti esterne. Questo pattern appare in entrambe le architetture testate di modelli fine-tuned e non si attenua con l’aumento del pool di dati di augmentation - l’FPR sui dati esterni rimane significativamente sopra l’obiettivo di 0,10. Gli autori sottolineano esplicitamente di non aver verificato se un’augmentation adattata alla distribuzione dei dati esterni chiuderebbe questa lacuna. La sola calibrazione della soglia e l’augmentation in stile dati curati non sono sufficienti.
Google · Le tue fontiPiù in alto su Google con un solo clicAggiungi alle fonti preferite →Cosa ne consegue
A nostro avviso questo lavoro mostra un problema pratico concreto: se implementi un rilevatore di prompt injection e lo valuti solo sui tuoi dati di test, potresti avere un falso senso di sicurezza. Un risultato F1 vicino a 1,0 non ti protegge dal fatto che il sistema bloccherà una richiesta normale su tre quando incontra contenuti da un altro dominio. Il benchmark è congelato e pubblicamente disponibile, il che significa che i creatori di nuovi rilevatori possono usarlo come punto di riferimento comune - questo è prezioso, perché finora ognuno misurava il proprio sistema in modo diverso. Allo stesso tempo gli autori stessi ammettono di non aver testato la soluzione più ovvia: l’augmentation adattata alla distribuzione dei dati esterni, quindi non è chiaro se il problema sia risolvibile in questo modo.
Fonte: arXiv cs.AI: PIDS-Bench: Evaluating Prompt-Injection Detectors Under Over-Defense, Obfuscation, and Distribution Shift (documento del 15-09-2026). Questa analisi è stata realizzata sulla base del testo completo del documento, non di resoconti di altri media.
More on this from NITIDO
benchmark·Landing page con Opus 5.5: confronto tra medium e highLanding completo con un solo prompt in Opus 5.5: confronto tra effort medium e high. Tempo, costo 0,43 USD, contrasto, e perché entrambe le versioni si sono interrotte.