Quanto è pronto il tuo sito per l’IA e la ricerca?
Cosa dice robots.txt ai crawler di ricerca e IA e cos’altro offre il tuo sito agli agenti IA.
I dati inseriti vengono inviati al nostro server per eseguire la verifica. Non li registriamo nei log. I siti pubblici verificati e i risultati possono restare temporaneamente in cache per evitare verifiche ripetute.
Per esempio example.com, senza https:// o percorso. Il controllo legge robots.txt, llms.txt, una sitemap e la pagina iniziale.
Accessibilità per IA
Pronto per la verifica
Inserisci un indirizzo e premi Verifica.
- robots.txt
- llms.txt
- Sitemap
- Dati strutturati (JSON-LD)
Cosa dice robots.txt ai crawler di ricerca e IA e cos’altro offre il tuo sito agli agenti IA.
Come si usa
- Digita il sito da verificare, come example.com, senza https:// o un percorso.
- Premi Verifica. Lo strumento legge robots.txt, llms.txt, una sitemap e la pagina iniziale del sito.
- Leggi i controlli: ciascuno spiega cosa è stato trovato e cosa aggiungere o correggere. L’elenco sotto mostra le indicazioni di robots.txt per ogni crawler noto.
Come funziona
Motori di ricerca e sistemi IA leggono alcuni file pubblici prima di usare un sito. robots.txt indica quali percorsi possono recuperare i crawler e può contenere una riga Content-Signal che dichiara se i contenuti possono essere usati per la ricerca, come input per risposte IA o per addestrare l’IA. llms.txt è una breve guida Markdown al sito per i modelli linguistici. Una sitemap elenca le pagine e JSON-LD nella pagina iniziale descrive il sito alle macchine con termini schema.org. WebMCP permette a una pagina di offrire strumenti a un agente IA nel browser. Gli ultimi quattro non sono obbligatori; insieme rendono il sito facile da trovare e usare.
Per ogni crawler noto lo strumento applica le regole di RFC 9309, lo standard di robots.txt: un crawler segue il gruppo che lo nomina, altrimenti quello per *, e prevale la regola corrispondente più lunga, con Allow in caso di parità. Considera solo la pagina iniziale, «/». Esempio: se robots.txt contiene «User-agent: GPTBot» con «Disallow: /» e un gruppo «User-agent: *» che consente tutto, GPTBot è bloccato dalle proprie regole e tutti gli altri crawler sono autorizzati. Un robots.txt assente non pone limiti; uno illeggibile per un errore del server può indurre i crawler a fermarsi, quindi viene segnalato. Fonti: RFC 9309; policy Content Signals; llmstxt.org; sitemaps.org; schema.org.
Il controllo legge quattro file pubblici una volta dal nostro server e non giudica se sia giusto bloccare un crawler IA: è una tua scelta, quindi la riga sui crawler IA è solo una nota. Non verifica regole per altri percorsi o header come X-Robots-Tag. Gli strumenti WebMCP registrati dagli script dopo il caricamento non sono visibili senza eseguire la pagina, quindi un marcatore assente non dimostra che il sito ne sia privo.
Fonti
- Content SignalsUsata per: definizioni
- IETF RFC 9309: Robots Exclusion ProtocolUsata per: definizioni
- llmstxt.org: The /llms.txt fileUsata per: definizioni
- Schema.org: Getting startedUsata per: definizioni
- sitemaps.org: Sitemaps XML formatUsata per: definizioni
Domande frequenti
Devo bloccare i crawler IA?
È una scelta aziendale. Bloccare i crawler di addestramento esclude i contenuti dall’addestramento dei modelli; bloccare quelli di ricerca IA esclude il sito dalle risposte IA e dai loro link. Lo strumento mostra solo ciò che dice attualmente robots.txt.
robots.txt mantiene privati i contenuti?
No. È una richiesta rispettata dai crawler corretti, non un controllo degli accessi. I contenuti davvero privati richiedono un accesso autenticato.
Che cos’è una riga Content-Signal?
Una riga facoltativa di robots.txt come Content-Signal: search=yes, ai-input=yes, ai-train=no. Dichiara come possono essere usati i contenuti. Alcuni crawler la leggono; da sola non blocca nessuno.
Mi serve llms.txt?
È una proposta, non un requisito, e nessun motore di ricerca promette di usarlo. Pubblicarlo costa poco e alcuni strumenti IA lo leggono, quindi viene segnalato solo se esiste ma è malformato.
Perché la sitemap risulta non indicata in robots.txt?
Lo strumento l’ha trovata su /sitemap.xml, ma robots.txt non ha una riga Sitemap:. Aggiungerla permette a ogni crawler di trovarla senza tentativi.
Perché non vede i miei strumenti WebMCP?
Gli strumenti WebMCP sono solitamente registrati da script dopo il caricamento della pagina. Lo strumento cerca solo marcatori nell’HTML, come un modulo contrassegnato come strumento.
Potrebbe servirti anche
Altri strumenti in Web e rete
- Analizzatore URL, riservato, funziona sul tuo dispositivo
- Calcolatore sottoreti IP, riservato, funziona sul tuo dispositivo
- Calcolatore uptime SLA, riservato, funziona sul tuo dispositivo
- Codici di stato HTTP, riservato, funziona sul tuo dispositivo
- Generatore di link UTM, riservato, funziona sul tuo dispositivo
- Info sul browser, riservato, funziona sul tuo dispositivo





