Dizionario IA / Inference
⚙️ Technika
Inference
Il momento in cui il modello genera la risposta alla tua richiesta (a differenza dell'addestramento).
L'inference (inferenza) è la fase in cui il modello addestrato viene utilizzato: riceve la tua richiesta e genera la risposta, token dopo token. Questo distingue l'uso quotidiano del modello dall'addestramento, che è avvenuto una volta, prima, su enormi quantità di dati. I costi dei servizi AI sono principalmente costi di inference - per questo i fornitori li ottimizzano con quantizzazione, hardware migliore e architetture tipo MoE. Quando la chat "scrive" la risposta in tempo reale, osservi l'inference dal vivo, solitamente in modalità streaming.
Concetti correlati