Dizionario IA / Quantizzazione
🏗️ Modelli e addestramento
Quantizzazione
Snellimento del modello registrando i numeri con minore precisione - funziona più velocemente e su hardware più debole.
La quantizzazione è una tecnica di snellimento del modello: i suoi pesi vengono registrati con minore precisione numerica (ad es. 4-bit invece di 16-bit), così il file occupa diverse volte meno memoria e i calcoli accelerano. Il costo è una perdita di qualità minima, spesso impercettibile. Grazie alla quantizzazione i grandi modelli aperti possono essere eseguiti su un computer domestico con scheda grafica, e persino su un laptop. I formati popolari di modelli quantizzati circolano nella community del self-hosting e sono la base dell'esecuzione locale dell'AI.
Concetti correlati