Cos'è il RAG e perché si collega il modello a una base di conoscenza?

Il RAG (retrieval-augmented generation, generazione aumentata dal recupero) fa sì che il modello cerchi prima i passaggi utili nei tuoi documenti e solo dopo scriva la risposta, usando quei passaggi come fonte. Invece di basarsi solo su ciò che ha memorizzato durante l'addestramento, riceve nel prompt materiale preciso e aggiornato.

Un sistema tipico ha tre passaggi:

• i documenti vengono divisi in frammenti e indicizzati, di solito come vettori (embedding);
• per ogni domanda un sistema di ricerca recupera i pochi frammenti più pertinenti;
• il modello risponde a partire da quei frammenti e può citarli.

Perché collegare un modello a una base di conoscenza? I dati di addestramento si fermano a una certa data e non contengono i tuoi file interni, listini o manuali. Con il RAG si aggiorna la base, non il modello, e ogni risposta può rimandare alla sua fonte, così gli errori si notano più facilmente. Il metodo è stato descritto nel 2020 da Patrick Lewis e colleghi (Facebook AI Research, UCL, NYU). Il RAG riduce il rischio di risposte inventate ma non lo elimina: se la ricerca recupera il passaggio sbagliato, anche la risposta sarà sbagliata.