Una cifra dopo la virgola non basta: leggere la matrice di confusione di un classificatore

👁 111 letture

Per leggere una matrice di confusione parto da una scelta concreta: quale caso chiamo positivo? Solo allora distinguo un allarme inutile da un caso sfuggito. Nel mio esempio il modello trova 40 dei 50 casi positivi; un’altra frazione risponde alla domanda su quanti allarmi siano giustificati.

L’anatomia di un errore: il caso studio

Per illustrare questo concetto, utilizziamo un esempio didattico neutro, privo di implicazioni diagnostiche o commerciali. Definiamo la “classe positiva” come l’evento di interesse. I dati del nostro set di test sono i seguenti:

• Veri Positivi (TP): 40 (pazienti malati identificati correttamente)
• Falsi Positivi (FP): 5 (pazienti sani identificati erroneamente come malati)
• Falsi Negativi (FN): 10 (pazienti malati identificati erroneamente come sani)
• Veri Negativi (TN): 45 (pazienti sani identificati correttamente)

Se guardiamo solo la precisione, otteniamo il rapporto tra i veri positivi e il totale dei casi identificati come positivi. In questo scenario, la precisione è 40 / (40 + 5), ovvero 40/45. Questo valore ci dice che, quando il modello “suona l’allarme”, ha una buona probabilità di avere ragione.

Se invece guardiamo il richiamo (o sensitivity), calcoliamo il rapporto tra i veri positivi e il totale dei casi positivi reali esistenti. Qui il calcolo è 40 / (40 + 10), ovvero 40/50. Il richiamo ci dice quanto siamo stati efficaci nel “pescare” tutti i malati presenti nel gruppo.

La differenza fondamentale risiede nel denominatore: la precisione è 40/45 (circa 88,9%), mentre il richiamo è 40/50 (80%). Sebbene i valori numerici siano prossimi, il significato operativo è distinto. Se l’obiettivo è minimizzare gli allarmi ingiustificati (evitare di classificare come positivi i negativi), la precisione è prioritaria. Se l’obiettivo è massimizzare l’individuazione di tutti i casi positivi reali, il richiamo diventa il parametro critico.

Come decidere la metrica corretta

La scelta della metrica non deve basarsi sul valore numerico più alto, ma sull’obiettivo finale dell’applicazione. La decisione deve essere guidata dalla teoria della decisione statistica: quale tipo di errore è più costoso nel contesto specifico?

In un contesto di classificazione binaria, un falso negativo (non identificare un positivo) è spesso più grave di un falso positivo (etichettare erroneamente un negativo come positivo). In tal caso, si preferisce un richiamo elevato, anche a scapito della precisione. Al contrario, in un sistema di filtraggio, un falso positivo (un elemento legittimo classificato come negativo) può essere più problematico di un falso negativo. Qui la priorità verrebbe data alla precisione.

La matrice di confusione è lo strumento che permette di visualizzare queste tensioni. Essa non ci dà una risposta univoca, ma ci mostra il “prezzo” che paghiamo per ogni scelta di soglia. Quando spostiamo la sensibilità del modello, i numeri all’interno della matrice si spostano come pedine su una scacchiera: aumentare i veri positivi spesso comporta un aumento proporzionale dei falsi positivi.

Cambiamenti di scenario e decisioni diverse

Per rendere questo concetto ancora più chiaro, consideriamo come cambierebbe la nostra scelta se variassimo le condizioni del problema.

Consideriamo uno scenario di classi sbilanciate. Se i casi positivi fossero rari (es. 5 su 105 totali) e il modello identificasse 4 veri positivi (richiamo 80%) generando 50 falsi positivi su 100 negativi reali, la precisione crollerebbe drasticamente. In tali condizioni, un modello con alto richiamo ma bassa precisione può risultare inefficace, generando un numero eccessivo di falsi allarmi rispetto ai veri positivi rilevati.

In presenza di sbilanciamento, la divergenza tra precisione e richiamo accentua l’utilità dell’F-measure (o F1-score), intesa come media armonica delle due metriche. L’F1-score penalizza i valori estremi: se precisione o richiamo sono bassi, il punteggio complessivo ne risente. Questo strumento costringe a valutare l’equilibrio tra la capacità di trovare i positivi e l’affidabilità delle previsioni positive.

Due errori comuni e come correggerli

Due errori metodologici comuni nella valutazione dei modelli sono l’affidamento eccessivo sull’accuratezza globale e la mancata considerazione del costo degli errori asimmetrici.

L’accuratezza (accuracy) calcola la percentuale di previsioni corrette sull’intero dataset. In un caso di forte sbilanciamento, ad esempio con il 99% di negativi, un modello che prevede sempre “negativo” otterrebbe un’accuratezza del 99%, pur essendo inutile per identificare la classe positiva. In scenari sbilanciati, l’accuratezza è una metrica fuorviante; è preferibile analizzare la matrice di confusione e le metriche specifiche per classe.

Una precisione elevata (es. 90%) non garantisce l’efficacia del modello se non si considera la distribuzione degli errori. La valutazione corretta richiede di definire preventivamente i costi relativi ai falsi positivi e ai falsi negativi in base al contesto applicativo. Una funzione di valutazione ponderata riflette meglio le conseguenze reali degli errori rispetto a metriche grezze come la precisione isolata.

Sintesi delle metriche chiave

Ecco una sintesi per orientarsi rapidamente nella lettura della matrice di confusione:

Dove finiscono i casi sbagliati

Scrivo l’evento che considero positivo prima di guardare i risultati. Poi seguo un falso allarme e un positivo mancato. Il falso allarme entra nel denominatore della precisione, il caso mancato in quello del richiamo. Una sola parola, “positivo”, qualifica due gruppi differenti: i casi previsti come tali e quelli davvero appartenenti alla classe.

FAQ

Perché non posso usare solo la precisione per valutare un modello medico?

La precisione misura solo quanto il modello sia affidabile quando emette un risultato positivo. In medicina, tuttavia, il rischio maggiore è spesso il falso negativo: non identificare una persona malata. Se usassi solo la precisione, potresti avere un modello che identifica correttamente solo pochi malati con estrema certezza, ma che ignora la stragrande maggioranza degli altri malati, fallendo nel suo obiettivo primario di salvaguardia.

Cosa succede se il mio modello ha un richiamo del 100%?

Un richiamo del 100% significa che il modello ha identificato tutti i casi positivi presenti nel test set. Tuttavia, questo potrebbe essere ottenuto in modo banale: il modello potrebbe semplicemente assegnare la classe positiva a ogni singolo individuo. In questo caso, avresti molti falsi positivi e una precisione bassissima. È fondamentale controllare sempre la matrice di confusione per assicurarsi che il successo nel richiamo non sia il risultato di una classificazione indiscriminata.

Come posso decidere la soglia di decisione corretta?

La scelta della soglia dipende dal bilanciamento tra i costi dei falsi positivi e dei falsi negativi. Se il costo di un falso negativo è molto più alto, dovresti abbassare la soglia di decisione per rendere il modello più “sensibile”, aumentando il richiamo a scapito della precisione. Se invece il costo di un falso positivo è proibitivo, devi alzare la soglia, rendendo il modello più “conservativo” e migliorando la precisione a scapito del richiamo. La matrice di confusione ti permette di visualizzare esattamente questo compromesso.

Aggiornamento: 12 novembre 2026.

Fonti

• 3.4. Metrics and scoring: quantifying the quality of predictions - scikit-learn 1.9.1 documentation

Kinetyra