Dizionario IA / Overfitting

🏗️ Modelli e addestramento

Overfitting (sovradattamento) è la situazione in cui il modello invece di imparare schemi generali "impara a memoria" i dati di addestramento. Sul materiale che ha visto se la cava benissimo; su nuovi casi - male. È un problema classico di tutto il machine learning. Nei grandi modelli linguistici l'overfitting si manifesta tra l'altro nella riproduzione parola per parola di frammenti memorizzati dall'addestramento. Lo si previene con adeguata diversità dei dati, tecniche di regolarizzazione e testando il modello su materiale che non ha visto durante l'apprendimento.