Dizionario IA / MoE (Mixture of Experts)

🏗️ Modelli e addestramento

Mixture of Experts è un'architettura in cui il modello è composto da molte sottoreti specializzate ("esperti"), ma per ogni richiesta ne attiva solo alcuni. Così il modello può avere un numero totale enorme di parametri, eppure funzionare velocemente ed economicamente - perché lavora solo una porzione alla volta. MoE sta dietro molti modelli di punta degli ultimi anni, soprattutto aperti. Per l'utente è un dettaglio tecnico, ma spiega un paradosso apparente: come modelli con centinaia di miliardi di parametri possano rispondere istantaneamente.