llms.txt: i bot AI lo leggono davvero? I dati dei log

👁 111 letture

Il sito analizzato ha un file llms.txt di 230 righe, con 170 link alle pagine più importanti, generato automaticamente da WordPress. Ho esaminato 13 giorni di log del server, dal 24 ottobre al 5 novembre 2026: 1.832.096 richieste in tutto. In quel periodo, le richieste attribuite ai bot di OpenAI, Anthropic e Perplexity sono state oltre 61.000. Quante volte uno di loro ha aperto llms.txt? Zero.

Ne parlo perché llms.txt viene spesso presentato come primo passo per farsi trovare da ChatGPT. I log raccontano un’altra storia: qui trovi i numeri, il metodo di analisi e i comandi per fare una verifica sul tuo sito.

Che cos’è llms.txt

È una proposta di Jeremy Howard, presentata il 3 settembre 2024 su llmstxt.org. Il file si trova nella directory principale del sito, all’indirizzo /llms.txt, ed è un semplice documento di testo in Markdown. L’unico elemento obbligatorio è un’intestazione H1 con il nome del sito. Può seguire una breve descrizione in forma di citazione e alcune sezioni H2 con link alle pagine che un modello linguistico dovrebbe leggere per prime. L’idea è fornire una scorciatoia: invece di districarsi tra menu, pubblicità e script, il modello trova un indice facile da elaborare.

Il file analizzato inizia con «# Nome del sito», contiene una descrizione, una sezione «Sulle fonti» con autore e metodo, e gruppi di link a strumenti, stato dei servizi in tempo reale, prezzi e confronti. Accanto c’è llms-full.txt, la versione con il testo completo: pesa 7,34 MB e conta 80.795 righe.

Non è uno standard adottato da un’organizzazione. Non compare nella documentazione dei crawler di OpenAI, Anthropic o Perplexity. Google ne ha parlato esplicitamente; ci torno più avanti.

Cosa mostrano i log di llms.txt

Il server registra ogni richiesta con indirizzo IP, data, percorso, codice di risposta e user agent, cioè la firma del browser o del bot. Ho estratto dagli archivi giornalieri tutte le visite a /llms.txt, /llms-full.txt e /robots.txt, poi ho contato separatamente le richieste dei bot AI all’intero sito.

llms.txt ha ricevuto 95 visite, llms-full.txt ne ha avute 22. Il file è stato scaricato più spesso da SEOJuice, uno strumento per gli audit SEO: 26 volte. Seguono agentwebmap-bot (15 volte), il crawler per dataset code-docs-corpus (7 volte), Googlebot (4 volte), alcuni strumenti di audit per siti e una dozzina di browser comuni, probabilmente di persone del settore curiose di vedere com’è fatto il file.

Nei dati grezzi ho trovato anche una visita ciascuno da GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e da una dozzina di altri bot. Sembrava promettente, finché non ho controllato gli orari: tutte le richieste provenivano dallo stesso indirizzo IP in Polonia ed erano arrivate nell’arco di 13 secondi, il 30 ottobre tra le 00:03:13 e le 00:03:26, ciascuna con una diversa firma di bot. Era un test di accesso che avevo eseguito io mentre sistemavo il generatore del file. Un vero GPTBot non arriva da una connessione domestica in Polonia.

[30/Oct/2026:00:03:13] "GET /llms.txt" 200 "... GPTBot/1.2; +https://openai.com/gptbot"
[30/Oct/2026:00:03:14] "GET /llms.txt" 200 "... OAI-SearchBot/1.0; +https://openai.com/searchbot"
[30/Oct/2026:00:03:16] "GET /llms.txt" 200 "... ClaudeBot/1.0; +claudebot@anthropic.com"
[30/Oct/2026:00:03:18] "GET /llms.txt" 200 "... PerplexityBot/1.0; +https://perplexity.ai/..."
(18 firme, un indirizzo IP, 13 secondi)

Escludendo quella serie, nessun bot di OpenAI, Anthropic o Perplexity ha scaricato llms.txt. Ho verificato anche al contrario: ho preso gli elenchi ufficiali degli indirizzi IP pubblicati da OpenAI e Perplexity e li ho confrontati con gli accessi a llms.txt. Non è arrivata nemmeno una richiesta da quegli indirizzi.

I bot AI visitano il sito, ma ignorano llms.txt

Non è vero che i bot AI non conoscono il sito. Nei 13 giorni analizzati:

* Solo richieste provenienti dagli intervalli IP ufficiali pubblicati da OpenAI e Perplexity. I numeri di ClaudeBot, Claude-User, GPTBot e Googlebot si basano sulla firma del bot, senza verifica dell’indirizzo. Periodo: 24 ottobre-5 novembre 2026; log del server del sito analizzato.

OAI-SearchBot ha visitato 3.484 URL distinti, PerplexityBot 3.774. Entrambi recuperano le pagine dalla sitemap e dai link, proprio come Googlebot. Se leggono direttamente le pagine originali, a cosa serve loro l’indice in llms.txt?

Un dato mi ha sorpreso. Delle 19.921 richieste di OAI-SearchBot, solo 5.259 riguardavano pagine. Le altre erano file CSS, script e 7.364 chiamate ai contatori statistici del sito, attivati solo nel browser. In altre parole, il bot di ricerca di ChatGPT esegue le pagine con JavaScript. Se misuri le visite con uno script personalizzato, escludilo dai conteggi: altrimenti gonfia le statistiche.

Chi visita davvero le pagine per chi usa una chat

Il caso più interessante è ChatGPT-User. Questa firma compare quando qualcuno fa una domanda a ChatGPT e il modello apre una pagina per preparare la risposta. In 13 giorni ci sono state 2.219 visite provenienti da indirizzi OpenAI, su 790 pagine diverse. In cima alla lista, esclusa la homepage (388 visite), c’erano una pagina sulle date delle elezioni (56), un calendario dell’AI (22), una pagina sui prezzi di ChatGPT (18) e un confronto tra ChatGPT Plus e Pro (14).

Il quadro è chiaro: la chat consulta il sito quando la domanda riguarda un’informazione concreta e soggetta a cambiamenti, come date, prezzi e differenze tra piani. Lo stesso emerge dai dati di Bing, che ho descritto nell’analisi su come Copilot cita le fonti. Al modello non serve il mio riassunto: gli serve una pagina con il dato aggiornato, la data della verifica e l’informazione in evidenza fin dall’inizio.

Attenzione ai bot contraffatti

Nei log, Perplexity-User ha generato 540 richieste, ma nessuna proveniva da un indirizzo Perplexity. Cercavano tutte file come /.env, /.env.production o /config/gcp-credentials.json. Sono scanner che si spacciano per bot AI, nella speranza che gli amministratori li lascino passare senza controlli. Anche 563 delle 2.782 richieste firmate ChatGPT-User non provenivano da OpenAI.

Un consiglio pratico: non fidarti di una richiesta solo perché lo user agent dichiara «GPTBot». Verifica l’indirizzo IP con l’elenco ufficiale. Se non puoi farlo, considera la firma una dichiarazione, non una prova.

Cosa dice Google su llms.txt

Nella guida all’ottimizzazione per la ricerca AI, Google spiega che per apparire nei risultati, comprese le funzionalità generative, non serve creare file AI o documenti Markdown: il motore di ricerca non li usa. Su llms.txt aggiunge che puoi mantenerlo, ma non migliorerà né danneggerà la visibilità su Google, perché Google lo ignora. Il passaggio è stato aggiunto alla documentazione nel giugno 2026; l’anno prima Gary Illyes di Google aveva già espresso pubblicamente lo stesso concetto.

Le 4 visite di Googlebot a llms.txt non cambiano la conclusione: Googlebot recupera ogni URL che trova nei link, quindi ha visitato anche questo.

Il mio parere: tengo il file, ma non ci investo

Non rimuovo llms.txt. Si genera da solo, non dà fastidio e viene letto da strumenti SEO e da alcuni crawler più piccoli. Se un giorno OpenAI o Anthropic inizieranno a usarlo, sarà già pronto.

Ma se qualcuno ti vende un’«implementazione di llms.txt» come scorciatoia per farti raccomandare da ChatGPT, stai spendendo troppo. In questi log il file serve agli strumenti di audit, non ai modelli. Un’ora di lavoro su una pagina con un prezzo, una data e una risposta chiara nel primo paragrafo può valere molto di più.

Dai log emergono alcune indicazioni pratiche:

• Consenti l’accesso ai bot giusti. OAI-SearchBot e PerplexityBot contribuiscono alla presenza nei motori di ricerca delle chat. Se li blocchi in robots.txt o nel firewall dell’hosting, il sito non entrerà nei loro indici. La scelta su GPTBot, che raccoglie dati per l’addestramento, è separata.
• Fai in modo che il sito risponda rapidamente e senza blocchi. ChatGPT-User visita le pagine su richiesta, durante una conversazione. Una pagina lenta o bloccata da una schermata di verifica «sei una persona?» potrebbe non comparire nella risposta.
• Pubblica informazioni concrete e aggiornate. Le pagine consultate più spesso rispondevano a domande su date, prezzi o differenze tra piani. Sono informazioni che il modello potrebbe non avere in memoria e che deve quindi recuperare.
• Misura invece di tirare a indovinare. I log del server sono gratuiti e mostrano quali pagine leggono i bot e quali vengono consultate su richiesta degli utenti.

Come verificare i log del tuo sito

Ti servono i log di accesso grezzi del tuo hosting. Di solito si trovano nella cartella logs del pannello oppure si possono scaricare come archivi. Per iniziare bastano tre comandi:

# 1. Chi scarica llms.txt (indirizzo, data, firma)
zcat access.log.gz | grep '"GET /llms' | awk '{print $1, $4, $NF}'

# 2. Quante richieste al sito arrivano dai bot AI
zcat access.log.gz | grep -c 'OAI-SearchBot'
zcat access.log.gz | grep -c 'ChatGPT-User'

# 3. Quali pagine visita ChatGPT su richiesta degli utenti
zcat access.log.gz | grep 'ChatGPT-User' | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

Infine, confronta gli indirizzi IP con gli elenchi di OpenAI (i file chatgpt-user.json, searchbot.json e gptbot.json su openai.com) e Perplexity. Senza questo passaggio conterai anche gli scanner, come è successo nella prima analisi dei log.

Fonti e data della verifica

Log e file verificati il 6 novembre 2026.

• Log di accesso del server del sito analizzato, 24 ottobre-5 novembre 2026 (1.832.096 richieste), analisi originale
• llmstxt.org - proposta llms.txt di Jeremy Howard, 3 settembre 2024
• Google Search Central - guida all’ottimizzazione per la ricerca AI, sezione su llms.txt
• OpenAI - documentazione sui bot OAI-SearchBot, GPTBot e ChatGPT-User ed elenchi degli indirizzi IP
• Perplexity - documentazione su PerplexityBot e Perplexity-User
• Anthropic - documentazione sui bot ClaudeBot, Claude-User e Claude-SearchBot
• Search Engine Roundtable, 24 luglio 2025 - Gary Illyes: Google non supporta llms.txt

// continua a leggereGemini 4 Carbon vs Argon: cosa cambia davveroStrumenti IAProject Genie free: è davvero gratis in Italia?Strumenti IAHiggsfield app per iPhone, Android e desktop: esiste davvero?Magazine

Kinetyra