Il gap tra modelli AI chiusi e open pesa solo 4,4 mesi e 5 volte il costo
Secondo un rapporto Mozilla pubblicato il 15 settembre, il divario di prestazioni tra i modelli frontier closed delle grandi aziende USA e i migliori modelli open-weights cinesi si è ridotto a soli 4,4 mesi.
👁 114 letture
Il divario di prestazioni tra i modelli AI frontier chiusi delle grandi aziende statunitensi e i migliori modelli open-weights cinesi si è ridotto a soli 4,4 mesi, secondo il rapporto State of Open Source AI di Mozilla, pubblicato il 15 settembre e condiviso in anteprima con Ars Technica. Il documento segnala che Kimi K3 di Moonshot AI ottiene un punteggio composito sull’Artificial Analysis Intelligence Index di appena 3 punti inferiore a Fable 5 di Anthropic, costando però solo il 30 percento del modello closed.
- Il modello open Kimi K3 di Moonshot AI segna appena 3 punti in meno rispetto al closed Fable 5 di Anthropic sull'Artificial Analysis Intelligence Index, a un terzo del costo.
- I modelli closed reggono il confronto solo su task da 8-12 ore: lavori che richiedono meno di 8 ore sono gestibili anche dagli open, quelli oltre 12 ore non sono ancora affidabili per nessun modello.
- Mozilla raccomanda gli open-weights come scelta predefinita per la maggior parte dei carichi di lavoro aziendali.
La distinzione pratica tra le due categorie si concentra su una fascia ristretta di compiti. Secondo la nonprofit METR, il miglior modello closed riesce attualmente a completare con un tasso di successo del 50 percento task che richiedono a un esperto umano fino a 1,7 volte il tempo massimo gestibile dal miglior modello open. In concreto: se un open-weights arriva a task da 7 ore, il closed arriva a 12 ore - ma nessun modello è oggi affidabile oltre le 12 ore. Tra 8 e 12 ore si trova la finestra in cui i modelli chiusi fanno la differenza.
Raffi Krikorian, chief technology officer di Mozilla, ha dichiarato che la scelta di pagare per un modello closed è ormai specifica per il carico di lavoro, non per l’organizzazione
, con i modelli chiusi che guadagnano il loro premio soprattutto in lavoro professionale specializzato, retrieval ad alta intensità e contesti lunghi. Come esempio concreto, il report cita DoorDash, che usa Kimi per i compiti di routine e riserva Fable ai task più difficili.
More on this from NITIDO
notizie·Microsoft pubblica un codice di condotta per i suoi modelli AI: vietati hacking, deepfake e inganni