Dizionario IA / Benchmark
🤖 Agenti e strumenti
Benchmark
Test standardizzato con cui si confrontano i modelli (ad es. in matematica o programmazione).
Un benchmark è un test standardizzato per confrontare i modelli: un insieme di compiti di matematica, cultura generale, programmazione o comprensione linguistica, su cui ogni modello ottiene un punteggio. Grazie ai benchmark si può dire che il modello X se la cava meglio con il codice rispetto a Y. Ai risultati conviene approcciarsi con riserva: i test popolari col tempo "filtrano" nei dati di addestramento, e i produttori ottimizzano i modelli per le metriche. Perciò accanto ai benchmark classici crescono classifiche basate su valutazioni cieche di persone e test privati - e il miglior benchmark rimane il tuo compito specifico.
Concetti correlati