Bot AI su Cloudflare: impostazioni tra Allow e Block
Search, Training, Agent e la nuova opzione Disallow AI Training. Come configurare i bot AI su Cloudflare senza perdere traffico da Google.
👁 112 letture
Dal 15 settembre 2026 Cloudflare suddivide i bot di intelligenza artificiale in tre categorie distinte - Search, Training e Agent - e permette di definire una configurazione separata per ciascuna. Il cambiamento più rilevante riguarda l’opzione Block: ora blocca anche crawler come Googlebot, Bingbot e Applebot. Di conseguenza, chi desidera unicamente impedire l’addestramento dei modelli deve selezionare la nuova opzione Disallow AI Training. Di seguito analizziamo tutte le opzioni disponibili e indichiamo quale scegliere per blog, e-commerce e siti monetizzati con annunci pubblicitari. Per maggiori dettagli sull’infrastruttura: Cloudflare - guida pratica.
Situazione al 5 ottobre 2026
- Tre selettori: Search (indicizzazione nei motori di ricerca), Training (raccolta dati per addestramento modelli), Agent (agenti operativi su richiesta esplicita dell’utente).
- Quattro opzioni: Allow, Disallow AI Training (disponibile solo per la sezione Training), Block on pages with ads, Block.
- Funzioni ritirate: il vecchio interruttore “Block AI Bots” e la gestione di Managed robots.txt. Entrambi sono sostituiti da Bot Preference Sync.
- Stato “Accountable”: Google, Apple e Microsoft mantengono i propri bot attivi per l’indicizzazione delle ricerche anche in presenza del divieto di addestramento.
- Disponibilità: attivo su tutti i piani, compreso il piano Free.
Perché Cloudflare ha modificato questa gestione
La difficoltà maggiore finora riguardava i bot a utilizzo misto: un unico crawler che indicizza i contenuti per il motore di ricerca e, contemporaneamente, estrae dati per addestrare modelli linguistici. Googlebot ne rappresenta l’esempio tipico. Bloccandolo per impedire che Gemini utilizzi i testi del sito, si rischia di sparire completamente dai risultati di ricerca di Google. Per questa ragione, a lungo la funzione “Block” di Cloudflare ha escluso automaticamente tali bot.
Secondo i dati diffusi da Cloudflare, meno dell’1% dei siti protetti dalla sua rete blocca i bot dei motori di ricerca, mentre il 17% attiva un qualche blocco specifico per il training. Il solo file robots.txt non è sufficiente: chiunque può pubblicarlo, ma questo file non ha la capacità tecnica di verificare chi stia effettivamente scaricando la pagina né di arrestare un crawler che sceglie di ignorarlo. Cloudflare intercetta direttamente il traffico, consentendo sia di dichiarare la preferenza sia di farla rispettare a livello di rete.
Tabella comparativa delle impostazioni
| Opzione | Funzione | Per Search | Per Training | Per Agent |
|---|---|---|---|---|
| Allow | consente l’accesso a tutti i bot della categoria (salvo blocco da altre regole firewall) | sì | sì | sì |
| Disallow AI Training | inserisce il divieto di training nel robots.txt; i bot “Accountable” restano ammessi per la ricerca, gli altri bot di training vengono bloccati | - | sì | - |
| Block on pages with ads | blocca i bot esclusivamente sulle pagine in cui Cloudflare rileva annunci pubblicitari | sì | sì | sì |
| Block | blocca tutti i bot della categoria, inclusi quelli ad uso misto (Googlebot, Bingbot, Applebot) | sì | sì | sì |
Disallow AI Training blocca in particolare i bot dedicati unicamente all’addestramento gestiti da Amazon, Anthropic, Meta e OpenAI. Cloudflare precisa che il blocco di questi specifici crawler non impatta la visibilità sui motori di ricerca.
Cosa è successo alle configurazioni precedenti
Se non hai modificato i parametri manualmente, Cloudflare ha convertito i profili esistenti in modo automatico:
| Vecchio “Block AI Bots” | Nuovo Search | Nuovo Training | Nuovo Agent |
|---|---|---|---|
| Disattivato | Allow | Allow | Allow |
| Block | Allow | Disallow AI Training | Block on pages with ads |
| Block on pages with ads | Allow | Disallow AI Training | Block on pages with ads |
Chi aveva già configurato i selettori separati impostando Block oppure Block on pages with ads per Training, si ritrova ora assegnato a Disallow AI Training. Attenzione a un dettaglio fondamentale: impostare manualmente Block su Training o su Search blocca completamente Googlebot. È il modo più rapido per perdere il traffico organico da Google nel giro di pochi giorni.
Configurazioni predefinite per i nuovi domini
Durante l’aggiunta di un nuovo dominio, Cloudflare chiede se il sito monetizza tramite pubblicità e applica una delle seguenti configurazioni:
| Impostazione | Sito senza pubblicità | Sito con pubblicità |
|---|---|---|
| Bot Preference Sync | Attivo | Attivo |
| Search | Allow | Allow |
| Training | Allow | Disallow AI Training |
| Agent | Allow | Block on pages with ads |
La logica è lineare: i banner pubblicitari generano entrate solo quando le pagine vengono visualizzate da utenti reali. Il training dei modelli sostituisce la visita al sito con una risposta diretta in chat, mentre un agente preleva il contenuto senza visualizzare né cliccare gli annunci.
Bot Preference Sync: il file robots.txt automatico
Disponibile dal 21 agosto su tutti i piani, questa funzione inserisce automaticamente in cima al tuo robots.txt una sezione allineata con i comandi scelti nel pannello di controllo. Le regole già presenti nel file rimangono invariate; i nuovi parametri vengono aggiunti subito sopra, all’interno dei marcatori # BEGIN Cloudflare Bot Preference Sync e # END Cloudflare Bot Preference Sync. L’elenco degli user-agent viene aggiornato direttamente da Cloudflare tramite il database BotBase, eliminando la necessità di tracciare manualmente i nuovi crawler rilasciati sul web.
Quando conviene disattivare la sincronizzazione: se la tua organizzazione ha accordi di licenza individuali con specifiche aziende di intelligenza artificiale e intende concedere l’accesso in deroga ai blocchi globali. Il sistema di sincronizzazione lavora per macro-categorie e non interpreta eventuali regole personalizzate create nel firewall.
Guida alla scelta: i profili consigliati
Blog editoriale o divulgativo, senza pubblicità
- Search: Allow; Agent: Allow.
- Training: Allow oppure Disallow AI Training, in base alla propria politica sui contenuti. In entrambi i casi il posizionamento sui motori di ricerca non subisce variazioni.
- Valuta l’accesso alla beta di Pay Per Use se pubblichi analisi frequenti e approfondite, come illustrato nell’approfondimento su Pay Per Use di Cloudflare.
Sito monetizzato con pubblicità (AdSense e network affini)
- Search: Allow; Training: Disallow AI Training.
- Agent: la scelta richiede una valutazione specifica. Block on pages with ads ferma agenti come ChatGPT quando visitano il sito su richiesta dell’utente. Questa impostazione riduce il consumo di banda senza resa economica, ma impedisce di ricevere citazioni con link all’interno delle risposte fornite dai chatbot. Per mantenere visibilità nelle risposte generate dalle AI (GEO), mantieni l’opzione su Allow.
Piattaforma e-commerce
- Imposta tutte le categorie su Allow. Un agente d’acquisto impiegato per confrontare i prezzi rappresenta un potenziale cliente a tutti gli effetti. Un’analisi svolta su sei grandi piattaforme di commercio e annunci in Polonia ha rilevato che nessuna di esse applica blocchi ai bot AI nel proprio file robots.txt.
Sito con contenuti protetti da abbonamento (paywall)
- Search: Allow; Training: Disallow AI Training; Agent: Block oppure Block on pages with ads, per evitare che un agente estragga e riassuma contenuti eludendo la barriera dell’abbonamento.
Procedura di configurazione passo dopo passo
- Accedi alla dashboard di Cloudflare e seleziona il tuo dominio.
- Apri la sezione dedicata al controllo dei crawler AI (denominata AI Crawl Control o presente all’interno del menu dedicato alla sicurezza dei bot; le etichette possono variare nel tempo).
- Per Search, Training e Agent seleziona le opzioni indicate nei paragrafi precedenti.
- Attiva Bot Preference Sync se non intendi modificare a mano il robots.txt sul server.
- Visita l’indirizzo
tuodominio.it/robots.txtper accertarti che compaia il blocco generato da Cloudflare. - A distanza di una settimana, analizza le statistiche dei bot su Cloudflare e i report di Google Search Console per verificare la stabilità delle pagine indicizzate.
Durante la stesura di questa guida non è stato utilizzato un pannello di produzione dedicato; la nomenclatura delle funzioni si basa sui rilasci ufficiali di Cloudflare del 21 agosto e del 15 settembre 2026. Qualora l’interfaccia mostri voci leggermente differenti, fai riferimento ai tre selettori principali: Search, Training e Agent.
I prossimi sviluppi: controllo sulle sintesi AI
Cloudflare ha anticipato che entro l’inizio del 2027 introdurrà una funzione centralizzata per definire quanta parte dei contenuti potrà comparire nelle sintesi fornite dai motori (come le AI Overviews di Google), senza dover impostare regole frammentate su ogni singola piattaforma. Il riconoscimento dello status “Accountable” impone già a fornitori come Google, Apple e Microsoft di consentire l’esclusione dalle sintesi informative direttamente dai loro strumenti.
Per un quadro reale sulle strategie di blocco sul mercato polacco, consulta il nostro report sui file robots.txt. Per le linee guida generali applicabili a prescindere dal CDN impiegato, vedi l’articolo su come bloccare i bot AI sul proprio sito, mentre la ricostruzione dei test di agosto è consultabile su Cloudflare ha bloccato i bot AI sul mio sito.
Google · Le tue fontiPiù in alto su Google con un solo clicAggiungi alle fonti preferite →Fonti
More on this from NITIDO
