Finestra di contesto
Quanto testo il modello "vede" in una volta. Finestra più grande = puoi incollare documenti più lunghi.
La finestra di contesto è la quantità massima di testo (misurata in token) che il modello "vede" simultaneamente: il tuo prompt, i materiali incollati, la conversazione precedente e la propria risposta. Ciò che non ci sta, il modello semplicemente non lo conosce - da qui il "dimenticare" l'inizio di conversazioni lunghe. Le finestre moderne raggiungono centinaia di migliaia, e in alcuni modelli persino un milione di token, permettendo di inserire un intero libro o repository di codice. In pratica però la qualità del lavoro del modello può essere irregolare su contesti molto lunghi - è meglio posizionare le informazioni chiave all'inizio o alla fine del materiale.