Funzioni di perdita per dati tabulari: quale funziona meglio?

👁 113 letture

Uno studio pubblicato nell’ottobre 2026 a firma di Danil Rudenko, Georgii Bulgakov, Nikolai Kartashev, Ivan Rubachev, Daniil Krasylnikov e Artem Babenko fa chiarezza sulle funzioni obiettivo per il deep learning su dati tabulari. Il codice per riprodurre gli esperimenti e reso pubblicamente disponibile al link indicato nel paper.

Il problema: mancava un confronto rigoroso delle funzioni di perdita

L’uso delle reti neurali sui dati tabulari e un campo di ricerca molto attivo, ma la scelta della loss function nei task di regressione e rimasta finora - come evidenziano gli autori - “un grado di liberta poco esplorato”. Esistono diversi filoni di ricerca che propongono alternative al classico errore quadratico medio (MSE, mean squared error). Tuttavia, l’impiego di dataset eterogenei, architetture differenti e protocolli di valutazione disomogenei ha reso finora quasi impossibile valutare i vantaggi pratici reali. Gli autori hanno quindi deciso di colmare questa lacuna.

Cosa e stato testato

Il team ha condotto una rivalutazione sistematica delle funzioni obiettivo per la regressione. Le opzioni sono state messe alla prova su un ampio insieme di benchmark tabulari consolidati e su molteplici architetture di reti neurali (non elencate singolarmente per nome nel testo del lavoro). Il punto di riferimento centrale e stato un MSE meticolosamente ottimizzato: gli autori sottolineano esplicitamente di aver utilizzato una “properly tuned MSE baseline”, evitando cosi il tipico errore di confrontare novita complesse contro un baseline trascurato.

I risultati principali del confronto

Le conclusioni sono piuttosto nette per molte soluzioni emerse di recente nella letteratura scientifica: la maggior parte offre “vantaggi limitati o incoerenti” rispetto a un MSE ben calibrato. C’e pero una chiara eccezione: la quantile loss (perdita quantile), l’unica a mostrare “miglioramenti aggregati coerenti rispetto a MSE” attraverso le diverse architetture analizzate.

Il limite nascosto: il global early stopping

Anche adottando una funzione di perdita piu efficace emerge un secondo ostacolo: l’early stopping globale. Si tratta della procedura standard con cui si interrompe l’addestramento quando il modello cessa di migliorare sul set di validazione. I ricercatori hanno osservato che regioni diverse dei dati - caratterizzate da differenti livelli di rumore nella variabile target - raggiungono le prestazioni ottimali in epoche di addestramento differenti. Un checkpoint globale di early stopping impone quindi un compromesso tra queste aree, anche quando la loss impiegata e in grado di modellare distribuzioni eteroschedastiche. In sintesi: un unico momento di arresto non basta, perche porzioni diverse dello spazio delle feature maturano con tempi diversi.

La soluzione proposta dai ricercatori

Per mitigare questo problema, gli autori hanno introdotto un’estensione della quantile loss attenta all’eteroschedasticita. Il metodo sfrutta una tecnica di regolarizzazione delle etichette dipendente dall’input (input-dependent label smoothing). Gli autori la presentano con cautela come un “potenziale rimedio” senza pretendere che risolva del tutto la questione, ma i test mostrano miglioramenti tangibili rispetto alla quantile loss convenzionale su diverse architetture.

Cosa non viene dettagliato nel paper

L’abstract non riporta metriche numeriche puntuali sull’entita del guadagno: non viene indicato di quanti punti percentuali si riduca l’errore ne il numero esatto di dataset utilizzati nelle sessioni di test. Allo stesso modo, non sono nominate singolarmente le specifiche architetture neurali ne le singole loss concorrenti bocciate dal confronto.

Cosa cambia nella pratica per chi allena modelli

Riteniamo che questo studio sia soprattutto un utile monito: prima di adottare funzioni di perdita complesse e di tendenza, conviene ottimizzare a fondo una solida baseline MSE, dato che raramente le alternative fanno davvero la differenza. Molto interessante e anche l’analisi sull’early stopping globale, un vincolo che tocca da vicino chiunque alleni modelli tabulari ma di cui si parla troppo poco. Il paper non stravolge la disciplina, ma mette ordine nella letteratura e svela un punto debole insidioso nelle prassi di training piu comuni.

Fonte: arXiv cs.AI: Revisiting Tabular Deep Regression: Objectives and the Limits of Global Early Stopping (lavoro del 2026-10-12). Questa analisi si basa sul testo completo del paper originale.

// continua a leggereScala di confidenza LLM: 0-20 funziona meglio di 0-100MagazineRiscrivere il codice da zero raramente funziona: meglio testare e rifattorizzare l’esistenteNotizieKling 4.0 API: dove funziona? Test su 7 piattaformeBenchmark

Kinetyra