Latenza

La latenza è il ritardo tra l'invio di una richiesta e la reazione del modello - in pratica si misura più spesso il tempo fino al primo token della risposta. Per una conversazione vocale fluida o l'autocompletamento del codice contano frazioni di secondo; nella generazione di un report la latenza ha meno importanza. La latenza dipende dalle dimensioni del modello, dal carico dei server, dalla lunghezza del prompt e dalla modalità di lavoro (i modelli ragionanti "pensano" notevolmente più a lungo). Gli sviluppatori spesso destreggiano tra modelli: uno veloce per reazioni immediate, uno potente per compiti dove l'utente può aspettare.