› L'Allen Institute for AI (Ai2) ha pubblicato un'analisi dettagliata sulla completa ricostruzione del sistema di accodamento dei task sui propri cluster di GPU.
› Il report illustra un caso classico di come un'infrastruttura ben progettata possa cedere sotto il peso dell'utilizzo reale.Ai2 gestisce migliaia di schede NVIDIA H100, B200 e B300, suddivise in cluster di dimensioni variabili tra 88 e 1024 GPU.
› Questa infrastruttura serve circa 150 ricercatori interni impegnati in ambiti molto eterogenei: dall'addestramento di modelli linguistici di grandi dimensioni (LLM) e modelli visuo-linguistici (VLM), alle simulazioni di reinforcement learning per la robotica, fino al post-training per agenti scientifici.
› Si tratta di un carico di lavoro che richiede contemporaneamente sessioni di addestramento lunghe e stabili, ma anche un accesso rapido per il debugging in tempo reale: due necessita difficili da conciliare con un unico meccanismo basato su priorita.La tragedia dei beni comuni nel calcolo computazionaleLa criticita non era nuova: la domanda di tempo computazionale superava l'offerta da tempo.