› Il formato GGUF e la quantizzazione GGUF consentono di eseguire modelli linguistici in locale riducendo i requisiti hardware, dove una variante come Q4_K_M rappresenta spesso il miglior compromesso tra memoria e precisione.
› In questa guida analizzo il comportamento reale dei vari livelli di compressione, misurati sul mio banco di prova con RTX 4090: puoi approfondire i principi base dei modelli in locale nel mio hub sull'intelligenza artificiale locale.
› Aggiornato al 17 ottobre 2026I file GGUF ufficiali della famiglia Bielik v3.0 sono pubblicati da SpeakLeash su Hugging Face con licenza Apache 2.0 (uso commerciale consentito).Il repository per il modello 1.5B include solo F16 e Q8_0; il 4.5B include solo F16 e Q8_0; la versione 11B offre Q4_K_M, Q5_K_M, Q6_K, Q8_0, BF16 e F16.Ho eseguito i test su llama.cpp con supporto CUDA (build 11194 del 26 settembre); l'ultima versione disponibile di llama.cpp e la 0.7.0 del 15 ottobre con licenza MIT.In Ollama, Bielik 11B v3.0 richiede di specificare espressamente il tag desiderato, ad esempio :Q4_K_M.
› Cosa scegliere in sintesi Q4_K_M - Il livello di compressione minimo consigliabile in cui la qualita del testo non subisce cali evidenti.