Vai al contenuto

Quanto è pronto il tuo sito per l’IA e la ricerca?

Cosa dice robots.txt ai crawler di ricerca e IA e cos’altro offre il tuo sito agli agenti IA.

Per esempio example.com, senza https:// o percorso. Il controllo legge robots.txt, llms.txt, una sitemap e la pagina iniziale.

Accessibilità per IA

Pronto per la verifica

Inserisci un indirizzo e premi Verifica.

  • robots.txt
  • llms.txt
  • Sitemap
  • Dati strutturati (JSON-LD)

Cosa dice robots.txt ai crawler di ricerca e IA e cos’altro offre il tuo sito agli agenti IA.

Come si usa

  1. Digita il sito da verificare, come example.com, senza https:// o un percorso.
  2. Premi Verifica. Lo strumento legge robots.txt, llms.txt, una sitemap e la pagina iniziale del sito.
  3. Leggi i controlli: ciascuno spiega cosa è stato trovato e cosa aggiungere o correggere. L’elenco sotto mostra le indicazioni di robots.txt per ogni crawler noto.

Come funziona

Motori di ricerca e sistemi IA leggono alcuni file pubblici prima di usare un sito. robots.txt indica quali percorsi possono recuperare i crawler e può contenere una riga Content-Signal che dichiara se i contenuti possono essere usati per la ricerca, come input per risposte IA o per addestrare l’IA. llms.txt è una breve guida Markdown al sito per i modelli linguistici. Una sitemap elenca le pagine e JSON-LD nella pagina iniziale descrive il sito alle macchine con termini schema.org. WebMCP permette a una pagina di offrire strumenti a un agente IA nel browser. Gli ultimi quattro non sono obbligatori; insieme rendono il sito facile da trovare e usare.

Per ogni crawler noto lo strumento applica le regole di RFC 9309, lo standard di robots.txt: un crawler segue il gruppo che lo nomina, altrimenti quello per *, e prevale la regola corrispondente più lunga, con Allow in caso di parità. Considera solo la pagina iniziale, «/». Esempio: se robots.txt contiene «User-agent: GPTBot» con «Disallow: /» e un gruppo «User-agent: *» che consente tutto, GPTBot è bloccato dalle proprie regole e tutti gli altri crawler sono autorizzati. Un robots.txt assente non pone limiti; uno illeggibile per un errore del server può indurre i crawler a fermarsi, quindi viene segnalato. Fonti: RFC 9309; policy Content Signals; llmstxt.org; sitemaps.org; schema.org.

Il controllo legge quattro file pubblici una volta dal nostro server e non giudica se sia giusto bloccare un crawler IA: è una tua scelta, quindi la riga sui crawler IA è solo una nota. Non verifica regole per altri percorsi o header come X-Robots-Tag. Gli strumenti WebMCP registrati dagli script dopo il caricamento non sono visibili senza eseguire la pagina, quindi un marcatore assente non dimostra che il sito ne sia privo.

Fonti

Fonti e metodi

Domande frequenti

Devo bloccare i crawler IA?

È una scelta aziendale. Bloccare i crawler di addestramento esclude i contenuti dall’addestramento dei modelli; bloccare quelli di ricerca IA esclude il sito dalle risposte IA e dai loro link. Lo strumento mostra solo ciò che dice attualmente robots.txt.

robots.txt mantiene privati i contenuti?

No. È una richiesta rispettata dai crawler corretti, non un controllo degli accessi. I contenuti davvero privati richiedono un accesso autenticato.

Che cos’è una riga Content-Signal?

Una riga facoltativa di robots.txt come Content-Signal: search=yes, ai-input=yes, ai-train=no. Dichiara come possono essere usati i contenuti. Alcuni crawler la leggono; da sola non blocca nessuno.

Mi serve llms.txt?

È una proposta, non un requisito, e nessun motore di ricerca promette di usarlo. Pubblicarlo costa poco e alcuni strumenti IA lo leggono, quindi viene segnalato solo se esiste ma è malformato.

Perché la sitemap risulta non indicata in robots.txt?

Lo strumento l’ha trovata su /sitemap.xml, ma robots.txt non ha una riga Sitemap:. Aggiungerla permette a ogni crawler di trovarla senza tentativi.

Perché non vede i miei strumenti WebMCP?

Gli strumenti WebMCP sono solitamente registrati da script dopo il caricamento della pagina. Lo strumento cerca solo marcatori nell’HTML, come un modulo contrassegnato come strumento.

Altri strumenti in Web e rete

Tutti i 25 strumenti in Web e rete

Invia un feedback