Dizionario IA / Moderazione dei contenuti
🛡️ Sicurezza e qualità
Moderazione dei contenuti
Filtraggio automatico degli input e output del modello per contenuti vietati.
La moderazione nel contesto dell'AI è il controllo automatico dei contenuti per categorie vietate: violenza, contenuti sessuali, incitamento all'odio, autolesionismo. I filtri controllano sia ciò che l'utente inserisce, sia ciò che il modello genera - e i sistemi di moderazione sono essi stessi modelli AI. Per i creatori di applicazioni i fornitori mettono a disposizione strumenti di moderazione separati, che conviene inserire prima e dopo il modello principale. Per gli utenti la moderazione è spesso fonte di frustrazione con i falsi allarmi - è lei che causa i rifiuti per richieste innocenti ma ambigue.
Concetti correlati