Dizionario IA / Streaming
⚙️ Technika
Streaming
Invio della risposta in tempo reale, token dopo token - da qui la "scrittura" della chat sullo schermo.
Lo streaming è la modalità in cui il modello invia la risposta in tempo reale, token dopo token, invece di aspettare con l'intero testo fino alla fine della generazione. È grazie a questo che le chat "scrivono" sullo schermo come una persona sulla tastiera. Oltre all'effetto visivo, lo streaming ha un significato pratico: l'utente inizia a leggere subito, quindi la latenza percepita diminuisce, e le risposte lunghe possono essere interrotte durante la generazione, risparmiando tempo e costi. Nelle API è un'opzione standard per costruire applicazioni proprie.