Tokenizacja
Il taglio del testo in token - il primo passo di ogni elaborazione linguistica del modello.
La tokenizzazione è il processo di suddivisione del testo in token secondo il vocabolario stabilito durante l'addestramento del modello. Le parole frequenti ottengono un proprio token, quelle rare vengono composte da pezzi più piccoli - per questo nomi insoliti o parole con errori di battitura si frammentano in molti token. Il modo di tokenizzare spiega alcune stranezze dei modelli: difficoltà nel contare le lettere in una parola, sensibilità a piccole variazioni di scrittura o differenze di costo tra lingue. Per l'utente la conclusione pratica importante: un testo conciso e pulito significa meno token, quindi costo inferiore e più spazio nel contesto.