› Il lavoro è stato pubblicato su arXiv (cs.LG / cs.AI) ed è stato presentato il 19 ottobre 2026 da Siyuan Gan e da sei coautori, le cui affiliazioni non sono indicate esplicitamente nel documento.Il problema: come distribuire il budget di addestramento tra più insegnantiLa distillazione on-policy con più insegnanti (Multi-teacher On-Policy Distillation, MOPD) consiste nell’addestrare un unico modello studente usando più modelli esperti, ciascuno specializzato in un dominio diverso, per esempio matematica o programmazione.
› Il problema è che lo studente dispone di un numero limitato di passi di ottimizzazione e di campioni (rollout), da ripartire tra i diversi domini.Gli autori descrivono due approcci di riferimento già esistenti.
› Il primo, chiamato Fixed, usa proporzioni di campionamento dei domini fisse, basate sulle dimensioni dei corpora, senza alcun adattamento.
› Il secondo, D3-MOPD, modifica dinamicamente le proporzioni usando la divergenza KL inversa tra insegnante e studente e la sua diminuzione più recente.