Qwen3.6-27B in locale su RTX 4090: quale versione

👁 113 letture

Di Qwen3.6-27B si parla molto in questi giorni nelle discussioni sull’AI locale, tanto che si potrebbe pensare a un’uscita di ottobre. Non è così: il repository Qwen/Qwen3.6-27B è stato creato su Hugging Face il 21 aprile 2026 e l’ultimo file è stato modificato il 24 aprile. Il modello ha sei mesi, conta 754 quantizzazioni della community sotto la scheda e ha una sua famiglia di tag in Ollama. La novità è un’altra: sempre più persone lo usano come assistente di programmazione in locale. Una precisazione: la velocità non l’abbiamo misurata; i numeri sulla memoria qui sotto sono calcoli, non misure.

Un modello denso con licenza Apache 2.0

Il modello di Alibaba è rilasciato con licenza Apache 2.0: uso commerciale, modifica e ridistribuzione consentiti. Ha 27 miliardi di parametri (27,8 miliardi in BF16) ed è denso: tutti i parametri lavorano per ogni token. Nella stessa famiglia c’è Qwen3.6-35B-A3B, un MoE che attiva circa 3 miliardi di parametri su 35; può essere più veloce, ma per i pesi serve più memoria.

DeltaNet: perché la cache KV resta piccola

I 64 layer sono organizzati in 16 blocchi. Ogni blocco mette in fila tre layer Gated DeltaNet e un layer di attenzione standard. DeltaNet è un’attenzione lineare: mantiene uno stato di dimensione fissa invece di memorizzare ogni token. Il risultato è che solo 16 layer su 64 hanno una cache KV che cresce con il contesto. È questo che rende i contesti lunghi sostenibili su 24 GB.

Il modello legge testo, immagini e video. Il contesto nativo è di 262.144 token, estendibile fino a 1,01 milioni con YaRN; Qwen avverte che l’estensione può peggiorare i risultati sui testi brevi. Qwen raccomanda almeno 128K di contesto per non compromettere il ragionamento (thinking).

I benchmark del produttore

Numeri presi dalla scheda del modello; repliche indipendenti non ne abbiamo viste. Prima il confronto con i pesi massimi:

Poi con i modelli di taglia simile:

Come leggerli: nella programmazione agentica il 27B raggiunge il predecessore da 397B e pareggia Claude Opus 4.5 su Terminal-Bench. Ma Opus 4.5 è una generazione precedente; l’attuale Opus 5.5 nella tabella non c’è. Sulla cultura generale (MMLU-Pro) nessun passo avanti rispetto alla 3.5. Sul codice il distacco da Gemma 4 31B è netto.

Il conto della VRAM (nostro calcolo)

Quello che segue è un calcolo fatto su file e configurazione, non una misura. I pesi corrispondono alle dimensioni reali dei GGUF di unsloth/Qwen3.6-27B-GGUF, in GB decimali (la scheda ha 24 GiB, cioè circa 25,8 GB). Per la cache KV: 16 layer ad attenzione completa, 4 teste KV, dimensione della testa 256, quindi 64 KiB per token in FP16. Fanno 2,15 GB a 32K, 8,59 GB a 128K e 17,18 GB con il contesto pieno di 262K. Con q8_0 si dimezza circa: 1,14, 4,56 e 9,13 GB. Lo stato fisso di DeltaNet pesa circa 0,15 GB. Teniamo 1,5 GB di riserva per driver, desktop di Windows e buffer di calcolo (ipotesi), per circa 24,3 GB utilizzabili. Sulle differenze tra formati c’è la nostra guida alla quantizzazione GGUF.

Il modulo visione (mmproj F16) aggiunge 0,93 GB e serve solo per immagini e screenshot.

Cosa scegliere

Q4_K_M o UD-Q4_K_XL, con 128K di contesto e cache KV in q8_0. È la combinazione che rispetta il consiglio di Qwen sul contesto per il ragionamento e lascia qualche GB di margine. Q5_K_M va bene per compiti più brevi. Q6_K significa rinunciare al contesto lungo, cioè al lavoro da agente su un intero repository.

Impostazioni per Ollama e llama.cpp

In Ollama il tag predefinito qwen3.6:27b pesa 18-19 GB, qwen3.6:27b-q4_K_M 17 GB. Per il contesto lungo attivate Flash Attention e la cache q8_0, poi impostate la lunghezza:

OLLAMA_FLASH_ATTENTION=1
OLLAMA_KV_CACHE_TYPE=q8_0
OLLAMA_CONTEXT_LENGTH=131072
ollama run qwen3.6:27b-q4_K_M

Con llama.cpp:

llama-server -m Qwen3.6-27B-Q4_K_M.gguf -c 131072 -fa on -ctk q8_0 -ctv q8_0

Se state scegliendo tra i due strumenti, il nostro confronto Ollama vs LM Studio spiega le differenze, e il nostro test dei modelli AI locali su RTX 4090 offre altri punti di riferimento.

Domande frequenti

Qwen3.6-27B gira su una scheda da 16 GB?

Solo nelle varianti molto compresse. Q3_K_M (13,59 GB) lascia poco spazio al contesto; UD-IQ2_M (10,85 GB) ne lascia di più, a scapito della qualità.

Si può usare in BF16 pieno?

La variante bf16 di Ollama pesa 56 GB: su una singola scheda consumer non ci sta senza quantizzazione.

Meglio il 35B-A3B?

Può essere più veloce grazie ai circa 3 miliardi di parametri attivi, ma i suoi pesi chiedono più memoria del 27B denso.

Che velocità aspettarsi?

Non l’abbiamo misurata, quindi non diamo numeri.

Fonti - consultate il 1° novembre 2026

• Hugging Face: scheda del modello Qwen3.6-27B (consultata il 1° novembre 2026)
• Hugging Face API: data del repository, licenza, parametri (consultata il 1° novembre 2026)
• Hugging Face: config.json di Qwen3.6-27B (consultata il 1° novembre 2026)
• Hugging Face: unsloth/Qwen3.6-27B-GGUF, dimensioni dei file (consultata il 1° novembre 2026)
• Ollama: tag qwen3.6 (consultata il 1° novembre 2026)
• Gigazine: Qwen3.6-27B (23 aprile 2026)

// continua a leggereOllama vs LM Studio: quale scegliere per l’AI localeGuideQwen3.8 Max Prime vs Claude Sonnet 5: quale scegliereBenchmarkLTX-Video in locale: test su RTX 4090, licenza e confrontoGuide

Kinetyra