Misurare un’attesa: mediana e percentile nelle risposte di un assistente
👁 111 letture
Con attese di 1, 2, 2, 3 e 12 secondi ottengo una mediana di 2 secondi e una media di 4. Sono due descrizioni corrette della stessa piccola serie. Prima di confrontarle, decido se il cronometro si ferma al primo segno di risposta o alla risposta completa.
La trappola della media: perché 4 secondi mentono
Immagina di analizzare i dati di latenza di un modello linguistico. Il report indica una “risposta media” di 4 secondi. Sembra un dato accettabile? In molte interazioni umane, l’attesa supera i 4 secondi prima di generare impazienza. Tuttavia, esaminando i dati grezzi ordinati - 1, 2, 2, 3, 12 secondi - emerge un outlier evidente: un evento di 12 secondi, forse dovuto a un collasso temporaneo del server. La media aritmetica trascina la percezione della performance verso l’alto, nascondendo che quattro volte su cinque il sistema è stato veloce. Questa è la trappola della statistica descrittiva applicata all’UX: la media è sensibile agli estremi, la mediana no. Scegliere quale metrica mostrare richiede onestà intellettuale verso chi prende decisioni tecniche o commerciali.
Decostruire la serie: il calcolo passo dopo passo
Per capire perché la mediana e la media divergono così drasticamente in questo campione didattico, dobbiamo scomporre il processo. Non stiamo parlando di milioni di dati, ma di cinque osservazioni isolate. Questo ci permette di vedere l’ingranaggio in movimento. La prima cosa da fare, come accennato, è ordinare i dati. L’ordine è fondamentale per la mediana. La nostra serie è già ordinata: 1, 2, 2, 3, 12.
Calcoliamo la mediana, il valore centrale che divide i dati in due parti uguali. Con un numero dispari di osservazioni (cinque), la mediana corrisponde al terzo valore della serie ordinata: 1, 2, **2**, 3, 12. La mediana è quindi 2 secondi. Questo indica che nella metà delle misurazioni (due su cinque in questo campione) il tempo di attesa è stato inferiore o uguale a 2 secondi. È un valore che riflette l’esperienza “tipica” dell’utente, quella più frequente, ed è una misura robusta della posizione centrale dei dati.
Calcoliamo ora la media aritmetica: si sommano tutti i valori (1 + 2 + 2 + 3 + 12 = 20) e si divide per il numero di osservazioni (5). Il risultato è 4 secondi. La discrepanza tra media (4s) e mediana (2s) è dovuta all’outlier di 12 secondi che ha “tirato” la media verso l’alto. Un manager che legge “4 secondi” potrebbe percepire il sistema come lento, mentre “2 secondi” suggerisce velocità. Entrambe le descrizioni sono matematicamente corrette ma raccontano storie diverse; la scelta dipende dalla domanda specifica posta ai dati.
Primo segnale vs. Risposta completa: una distinzione cruciale
Prima di confrontare ulteriormente le metriche, dobbiamo chiarire cosa stiamo misurando. In un assistente virtuale, il tempo non è un’unità monolitica. Esiste il tempo fino al “primo segno di risposta” (Time to First Byte o TTFT) e il tempo alla “risposta completa” (Total Latency). Questi sono due indicatori di performance diversi che rispondono a esigenze psicologiche diverse.
Il primo segnale è ciò che rassicura l’utente che il sistema non si è bloccato. È vitale per l’esperienza utente iniziale. La risposta completa, invece, determina quando l’utente può iniziare a leggere o ascoltare l’informazione. Nel nostro esempio ipotetico, se il primo segnale arriva in 1 secondo ma la risposta completa in 12, la mediana della risposta completa sarà influenzata pesantemente da quel ritardo finale, anche se l’inizio è stato fluido. È fondamentale specificare sempre quale delle due convenzioni si sta utilizzando. Mescolare i due concetti nei report porta a confusione e a benchmark inaffidabili. Nel nostro esercizio, assumiamo che i dati (1, 2, 2, 3, 12) si riferiscano al tempo totale alla risposta completa, poiché è la metrica che include l’intera elaborazione.
La complessità dei percentili: attenzione alle convenzioni
Spesso si cita il P90 o P99 come standard industriali, indicando che il 90% o il 99% delle richieste è soddisfatto entro quel tempo. Tuttavia, con un campione didattico di soli cinque dati, calcolare percentili specifici diventa arbitrario senza una convenzione di interpolazione rigorosa. I metodi variano (arrotondamento, interpolazione lineare, ecc.) e in un campione così piccolo il concetto perde robustezza statistica. Indicare valori specifici per P90 o P99 in questo contesto sarebbe fuorviante. È più corretto attenersi alla mediana o alla media, riconoscendo la limitatezza del campione e evitando generalizzazioni da pochi casi.
Tabella comparativa delle metriche
Per visualizzare chiaramente la differenza tra le due principali descrizioni statistiche, ecco una tabella che riassume i risultati ottenuti dalla nostra serie ipotetica.
| Cosa confronto | Come leggo il risultato |
|---|---|
| Campione didattico ordinato | 1, 2, 2, 3, 12 secondi. |
| Mediana | Terzo valore, 2 secondi. |
| Media | Somma 20 divisa per 5 = 4 secondi. |
| Percentile | Con pochi dati il risultato dipende dalla convenzione del percentile. Primo segnale e risposta completa sono misure diverse. |
Due cronometri con nomi diversi
Se devo decidere quale attesa raccontare, scrivo l’evento che avvia e quello che ferma il cronometro. La prima parola sullo schermo e l’ultima parola della risposta possono interessare allo stesso lettore, ma non sono lo stesso traguardo. Una tabella che li mescola non si aggiusta scegliendo la media invece della mediana.
Un controesempio: cosa succede se cambiamo una condizione?
Per testare la robustezza della mediana, modifichiamo la serie sostituendo l’outlier di 12 secondi con uno di 100 secondi. La nuova serie ordinata è: 1, 2, 2, 3, 100. Questo scenario ipotetico permette di osservare come le diverse metriche reagiscano a un evento estremo, evidenziando la differenza tra la stabilità della mediana e la sensibilità della media agli outlier.
Ricalcoliamo la mediana. Il terzo valore rimane 2. La mediana è ancora 2 secondi. Nonostante un ritardo catastrofico, la “mappa centrale” dell’esperienza utente non è cambiata. L’utente medio non ha notato la differenza perché la maggior parte delle volte il sistema è stato veloce.
Ricalcoliamo la media: la somma diventa 1 + 2 + 2 + 3 + 100 = 108. Dividendo per 5, otteniamo 21,6 secondi. La media è esplosa, dimostrando la sua fragilità di fronte agli estremi. La mediana, invece, rimane a 2 secondi, confermando la sua robustezza. Se l’obiettivo è descrivere l’esperienza “tipica” dell’utente, la mediana è preferibile. Se l’obiettivo è dimensionare le risorse per gestire il carico totale o i picchi estremi, la media (o la somma dei tempi) fornisce un’indicazione più accurata dell’impatto computazionale complessivo.
Errori comuni da evitare
Un errore comune è presentare la media come il tempo che l’utente “si aspetta sempre”. In una distribuzione asimmetrica, la media (4 secondi) non corrisponde a nessuna esperienza reale vissuta: gli utenti hanno aspettato 1, 2, 3 o 12 secondi. La media è un costrutto matematico, non un’esperienza umana. Un altro errore è ignorare la piccola dimensione del campione: cinque dati non sono sufficienti per determinare la qualità di un servizio su larga scala. Usare questi numeri per previsioni future è rischioso; i dati devono essere considerati un’istantica descrittiva, non una legge statistica definitiva.
Domande Frequenti
Quando devo preferire la mediana alla media?
Devi preferire la mediana quando la tua distribuzione di dati contiene outlier significativi o è asimmetrica, come nel caso delle latenze di rete o dei tempi di risposta. La mediana ti dà una rappresentazione più fedele dell’esperienza “tipica” dell’utente medio, proteggendo la metrica da eventi rari ma estremi che potrebbero distorcere la percezione della performance complessiva. È la scelta migliore per comunicare la qualità percepita del servizio.
Posso usare i percentili con soli cinque dati?
Non è consigliabile. Con un campione così piccolo, i percentili (come P90 o P99) diventano instabili e dipendono fortemente dalla convenzione di calcolo utilizzata (interpolazione, arrotondamento, ecc.). Un singolo dato può cambiare drasticamente il percentile calcolato. È più onesto e utile riferirsi alla mediana, alla media o ai valori minimi e massimi osservati, specificando sempre la limitatezza del campione. I percentili richiedono campioni molto più ampi per essere statisticamente significativi.
Come distinguo se il dato include il “primo segnale” o la “risposta completa”?
La distinzione non è automatica nei dati grezzi; deve essere definita a monte del processo di misurazione. Nel tuo report, devi sempre specificare esplicitamente se il tempo misurato è quello fino al primo token generato (TTFT) o il tempo totale fino alla fine della generazione. Sono due metriche diverse che rispondono a esigenze diverse: la prima misura la reattività iniziale, la seconda misura la completezza dell’informazione. Confonderle porta a conclusioni errate sulla performance del sistema. Assicurati che la tua serie di dati (come 1, 2, 2, 3, 12) sia chiaramente etichettata come referente a una di queste due fasi.
Aggiornamento: 12 novembre 2026.
Google · Le tue fontiPiù in alto su Google con un solo clicAggiungi alle fonti preferite →Fonti
More on this from NITIDO
benchmark·Quando il modello impara dal foglio delle risposte: riconoscere la fuga di dati in un test👁 111 letture Un ottimo punteggio non serve se una colonna rivela la risposta dopo che il caso si è concluso.