Dizionario IA / VRAM
⚙️ Technika
VRAM
La memoria della scheda grafica - è lei che decide quanto grande può essere il modello che esegui localmente.
La VRAM è la memoria operativa della scheda grafica. Nell'esecuzione locale di AI è lei il limite principale: il modello deve entrare nella VRAM per funzionare velocemente. Da qui la prima domanda nel self-hosting non è "quale processore", ma "quanta VRAM hai". Orientativamente: i modelli piccoli entrano in 8 GB, quelli medi necessitano di una decina, e quelli grandi - decine di gigabyte. La quantizzazione permette di comprimere un modello più grande in meno memoria a costo di un po' di qualità; l'alternativa è la memoria condivisa nei computer Apple.
Concetti correlati