Dizionario IA / Transformer
🧠 Podstawy
Transformer
L'architettura su cui si basano i moderni modelli linguistici. È la "T" in GPT.
Il Transformer è un'architettura di rete neurale descritta dai ricercatori di Google nel paper "Attention Is All You Need" del 2017. La sua idea chiave è il meccanismo di attenzione, che permette al modello di valutare quanto le singole parole nel testo si riferiscano l'una all'altra - indipendentemente dalla distanza tra loro. È proprio il transformer ad aver reso possibile il salto di qualità che osserviamo da alcuni anni: scala eccellentemente con la quantità di dati e potenza di calcolo. La lettera "T" nel nome GPT deriva proprio da transformer; su questa architettura si basano praticamente tutti i principali modelli linguistici.
Concetti correlati