Dizionario IA / Destylacja

🏗️ Modelli e addestramento

La distillazione della conoscenza è una tecnica in cui un modello piccolo ("allievo") impara a imitare le risposte di un modello grande ("maestro"). Invece di addestrare il piccolo da zero su dati grezzi, lo si alimenta con gli output del gigante - così acquisisce gran parte delle sue capacità con una frazione delle dimensioni. È il modo standard per creare modelli veloci ed economici per applicazioni di massa. Suscita anche controversie quando qualcuno distilla un modello chiuso altrui tramite la sua API - i termini di servizio della maggior parte dei fornitori lo vietano esplicitamente.