DeepSeek da 284 miliardi di parametri con 64 GB di RAM

👁 111 letture

La mattina dell’8 novembre, su Hacker News è comparso un repository con una promessa da capogiro: DeepSeek V4 Flash, un modello da 284 miliardi di parametri, in 64 GB di normale RAM e senza scheda grafica. Il primo commento chiedeva: con quale quantizzazione? La risposta è: in media 1,71 bit per peso. Ho letto la documentazione, verificato se il modello entrerebbe nel mio computer e valutato i costi rispetto all’API.

Il progetto llama-modchip è stato pubblicato su GitHub il 29 ottobre. Dopo un post su Hacker News, ha raccolto in un giorno 431 punti e 193 commenti. Non è un nuovo programma di chat, ma un insieme di modifiche a llama.cpp, il motore alla base di molte installazioni domestiche di modelli, insieme a un file del modello modificato su Hugging Face.

Come fa un modello da 284 miliardi a stare in 64 GB

DeepSeek V4 Flash è un modello MoE, cioè una miscela di esperti. Ciascuno dei suoi 43 livelli contiene 256 sottoreti specializzate; per ogni parola, un router ne seleziona sei e un esperto condiviso. Quindi, dei 284,33 miliardi di parametri, solo 13,17 miliardi vengono usati per ciascun token. Il calcolo necessario è limitato, ma l’intero modello deve restare in memoria: per la parola successiva il router potrebbe scegliere altri esperti.

È qui che entra in gioco la compressione. La versione pubblica più piccola di DeepSeek di Unsloth (UD-IQ1_S) pesa 76,87 GiB. Su un sistema Linux con 64 GB restano circa 62,5 GiB per i programmi, quindi quel file finirebbe per usare la memoria virtuale su disco o per causare la chiusura del processo. Gli autori sono scesi a 56,56 GiB. La maggior parte degli esperti è stata rappresentata con 1,56 bit per peso; alcuni livelli sensibili, alle estremità, con 1,75 e 2,06 bit. Attenzione, embedding ed esperti condivisi sono invece rimasti a precisione più alta. La media è 1,71 bit. Per confronto, il diffuso formato Q4_0, che molte persone scaricano per Ollama, usa 4,5 bit per peso.

Durante l’esecuzione il modello non viene caricato a pezzi dal disco: il file resta tutto nella RAM, senza memoria virtuale, ed è questo il presupposto dell’intero progetto. L’altra parte consiste in procedure di calcolo riscritte per il processore: le moltiplicazioni tra matrici sono suddivise in blocchi adattati alle cache L1, L2 e L3, mentre i pesi degli esperti sono gestiti in modo da non espellere dalla cache i dati necessari per il token successivo. Secondo gli autori, la velocità di lettura del prompt è passata da 25 a 44,36 token al secondo e quella di generazione da 5,91 a 9,06-9,95. Si aggiunge un piccolo modulo che prova a indovinare le parole successive, chiamato come il motore scacchistico Stockfish, e che porta il risultato a 11,5-14,7 token al secondo.

Tutti questi numeri sono stati misurati dall’autore del progetto su un solo computer: un laptop con Ryzen 9 9955HX, 16 core e 64 GB di DDR5. I risultati di altri utenti riguardano solo il più piccolo Nemotron 30B.

«Senza perdita», ma rispetto a cosa?

Gli autori definiscono la modalità predefinita «senza perdita»: i risultati coincidono bit per bit. Il confronto, però, è con il programma originale non modificato, eseguito sullo stesso file già compresso. Questo dimostra che le ottimizzazioni non alterano i calcoli, non che il modello a 1,71 bit sia valido quanto l’originale. Il test di qualità con risultato 100 su 100 citato nel repository riguarda Nemotron 30B. Nella documentazione non ho trovato un confronto tra DeepSeek compresso e versione completa.

Su Hacker News questo è stato il tema principale della discussione. Un commentatore ha richiamato alcuni studi secondo i quali il miglior equilibrio tra dimensioni e qualità si ottiene a 4 bit, mentre scendendo sotto questa soglia la qualità cala rapidamente. Un altro, che aveva usato la versione 0731, ha scritto che secondo la sua esperienza sotto circa 3,75 bit il modello funziona male. Qualcuno ha provato Nemotron su un Ryzen 7945HX con 96 GB e ha ottenuto una velocità di generazione uguale a quella del normale llama.cpp. Diverse persone hanno anche criticato il README, che a loro avviso sembrava generato dall’IA.

C’è poi la questione della versione. Il progetto esegue DeepSeek-V4-Flash-0731, pubblicato a luglio. L’API ufficiale di DeepSeek non offre più quella versione: secondo il listino, i vecchi nomi dei modelli rimandano ora al più recente V4.1-Flash-1017. I file di questo modello più recente pesano circa 510 GB, come ho scritto nell’articolo sul lancio della versione 1017. In locale, quindi, ottieni un DeepSeek più vecchio e molto compresso; con l’API, uno più recente e completo.

Ho controllato il mio computer

Lavoro su una workstation con processore Intel Core i9-14900KF, scheda grafica RTX 4090 con 24 GB di memoria e due moduli DDR5 da 32 GB. Windows 11 rileva 63,8 GiB. Sulla carta dovrebbe bastare: il picco di 58,9 GiB rientra nei 63,8. Quando però ho controllato la memoria in una normale giornata di lavoro, con browser, editor e alcuni programmi aperti, ne restavano liberi 36,4 GiB. Con i programmi aperti, su Windows il modello non ci starebbe.

Ci sono altri ostacoli. Il pacchetto per Windows offre solo modelli più piccoli, mentre il programma pronto per DeepSeek è per Linux. Per impostazione predefinita, il sottosistema WSL2 riceve metà della memoria del computer, nel mio caso 32 GB: bisognerebbe modificare il limite oppure avviare Linux accanto a Windows. La scheda grafica non sarebbe d’aiuto: gli autori eseguono il formato Fractal-64, usato per una parte del modello, solo sul processore. Anche il mio processore non è ideale, perché le ottimizzazioni più spinte sono state scritte per AVX-512, che il 14900KF non supporta. Esiste un percorso separato per AVX2, ma nella tabella non ci sono risultati di DeepSeek su Intel.

Ho scoperto anche una cosa che non mi aspettavo. I miei moduli Kingston Fury sono dichiarati per 6000 MT/s, ma funzionano a 4000 MT/s. Per generare ogni token, il processore legge dalla RAM i pesi degli esperti attivi: la velocità della memoria è quindi il principale limite alle prestazioni. La conclusione è che, avviando Linux, il modello entrerebbe nel mio computer appena appena, ma mi aspetto una generazione più lenta rispetto a quella dell’autore, soprattutto finché non attivo il profilo della memoria nel BIOS. Non ho fatto una prova: scaricare 61 GB e installare Linux richiede una giornata a parte, e non voglio inventare risultati.

Il confronto: memoria o API?

Per chi non ha 64 GB, comprarli può essere costoso. Ma il confronto con l’API non dipende solo dal prezzo della RAM. DeepSeek costa circa 1,07 € (1,2 USD) per milione di token in uscita nelle ore di punta e la metà nelle altre ore. Per un milione di token, il modello locale impiegherebbe circa 28-31 ore di lavoro del processore, a 9-10 token al secondo. In questo confronto non considero il costo dell’elettricità né i token in ingresso.

Anche la lettura è lenta. A 44 token al secondo, il processore impiega circa 3 minuti e 45 secondi per elaborare un prompt di 10 mila token, cioè alcune pagine di un documento, prima di iniziare a scrivere.

DeepSeek in locale ha senso in tre situazioni: se i dati non possono uscire dall’azienda, se lavori senza internet oppure se hai già 64 GB e Linux, quindi l’esperimento non ti costa nulla. Per il lavoro quotidiano, l’API è più economica e veloce. Ne parlo nella guida DeepSeek: chat, API e costi; in alternativa c’è la chat gratuita, descritta nel confronto tra piani gratuiti e API economiche. Nella guida sull’IA locale raccolgo i modelli che funzionano davvero bene su un computer domestico.

L’autore del progetto raccoglie risultati ottenuti con altri processori tramite segnalazioni su GitHub. Al 9 novembre, l’unica misurazione di DeepSeek 284B nella tabella è la sua. Un primo risultato indipendente su un normale PC con 64 GB dirà di più sul progetto di tutto il README.

Domande frequenti

Posso usare questo modello con Ollama o LM Studio?

No. Il file usa un formato di dati proprietario, Fractal-64, che llama.cpp, Ollama e LM Studio standard non riconoscono e rifiutano con un errore relativo a un tipo di tensore sconosciuto. Serve il programma con le patch di llama-modchip.

Una scheda grafica può accelerare DeepSeek in llama-modchip?

Non in questa versione. La parte del modello salvata in formato Fractal-64 funziona solo sul processore. Gli autori hanno preparato una modalità con scheda grafica per i modelli più piccoli, Qwen3 e Nemotron 30B.

Quanto spazio serve sul disco?

I tre file del modello pesano in totale 60,73 GB. Durante l’esecuzione, il modello resta nella RAM: il disco influisce solo sul tempo di caricamento.

Ho 32 GB di RAM. Che cosa posso usare?

Non DeepSeek 284B. Per i computer con 16-32 GB, gli autori propongono Nemotron 3.5 30B in una versione da 14,35 GiB, che secondo le loro misurazioni genera 25-60 token al secondo.

Fonti

• GitHub: synchopate/llama-modchip - README, FAQ, documentazione di DeepSeek V4 e pacchetti per Windows, versione 2.4.0 (consultati il 9 novembre 2026)
• Hugging Face: DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF - dimensioni dei file
• Hugging Face: DeepSeek-V4-Flash-0731 - modello originale, licenza MIT
• Hacker News: discussione dell’8 novembre 2026 - 431 punti, 193 commenti
• DeepSeek: prezzi dell’API (consultati il 9 novembre 2026)
• Microsoft Learn: configurazione di WSL - limite di memoria predefinito
• Controllo personale dell’hardware (Get-CimInstance, Windows 11), 9 novembre 2026. Non ho scaricato né avviato il modello.

Verificato: 9 novembre 2026.

Nota sui prezzi convertiti: importi in euro stimati dai prezzi ufficiali in USD al tasso di riferimento BCE del 9 novembre 2026 (1 EUR = 1,1193 USD). Fonte: BCE. Non sono prezzi locali di acquisto.

// continua a leggereDeepSeek, GLM, Kimi e Qwen: piani gratis o API economiche?MagazineAMD acquisisce World Labs per 8,2 miliardi di dollari, Fei-Fei Li diventa chief scientistMagazineAnthropic pagherà 11,6 miliardi di dollari ad Akamai in sette anni per infrastruttura cloudMagazine

Kinetyra