NITIDO_
Benchmark

Validare una classifica con gruppi indipendenti: il cliente non deve comparire due volte

nitido@ai:~$ cat news_1

› Se due messaggi appartengono alla stessa conversazione, metterne uno nel training e uno nel test può rendere la prova troppo facile.

nitido@ai:~$ cat news_2

› Per misurare come il sistema se la cava con conversazioni nuove, divido prima i gruppi e solo dopo conto i messaggi.Quando si analizza un dataset, è fondamentale garantire l'integrità della valutazione.

nitido@ai:~$ cat news_3

› Se un modello viene addestrato su una parte dei dati e poi testato su un'altra parte che contiene informazioni quasi identiche, il risultato della valutazione sarà falsato.

nitido@ai:~$ cat news_4

› Questo fenomeno è noto come overfitting: il modello non sta imparando a generalizzare, ma sta semplicemente memorizzando pattern specifici che si ripetono tra campioni correlati.

nitido@ai:~$ open --full
Leggi tutto

Validare una classifica con gruppi indipendenti: il cliente non deve comparire due volte

Apri l'articolo su nitidezza.it