# Verifica accessibilità per IA > Quanto è pronto il tuo sito per l’IA e la ricerca? Cosa dice robots.txt ai crawler di ricerca e IA e cos’altro offre il tuo sito agli agenti IA. Verifica l’accesso di IA e motori di ricerca: robots.txt per GPTBot, ClaudeBot e Googlebot, llms.txt, mappa del sito, JSON-LD e marcatori WebMCP. - Page: https://how.box/it/ai-readiness/ - Uses our server; server limits: 10 requests/minute per visitor, 150 requests/day per visitor, 40 page/minute per visitor, 10 requests/minute per target, 10 requests/second per global. - License: HowToolbox's own text and data (titles, explanations, FAQs, tool descriptions and schemas, this file) are CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/); AI training and answers are welcome. Attribute "HowToolbox (how.box)" with a link to the page used. Third-party data keeps its own terms; the name and logo are not licensed. Publisher: HowToolbox, contact@how.box. Terms: https://how.box/it/about/terms/ ## Inputs Answer link: https://how.box/it/ai-readiness/?h={h} - `h` (text): Public site (host name) to check; the check runs when the page opens. Example: `example.com`. Example answer: https://how.box/it/ai-readiness/?h=example.com The page computes the answer in the browser: read results from the agent tools below, not from the page HTML. ## Agent tools - `ai_readiness_check_site`: Checks how ready a public website is for search engines, AI crawlers and agents, from four public files read once by our server: robots.txt, llms.txt, one sitemap and the home page. - Page only: runs on this page (WebMCP), not over MCP. ## How it works Motori di ricerca e sistemi IA leggono alcuni file pubblici prima di usare un sito. robots.txt indica quali percorsi possono recuperare i crawler e può contenere una riga Content-Signal che dichiara se i contenuti possono essere usati per la ricerca, come input per risposte IA o per addestrare l’IA. llms.txt è una breve guida Markdown al sito per i modelli linguistici. Una sitemap elenca le pagine e JSON-LD nella pagina iniziale descrive il sito alle macchine con termini schema.org. WebMCP permette a una pagina di offrire strumenti a un agente IA nel browser. Gli ultimi quattro non sono obbligatori; insieme rendono il sito facile da trovare e usare. Per ogni crawler noto lo strumento applica le regole di RFC 9309, lo standard di robots.txt: un crawler segue il gruppo che lo nomina, altrimenti quello per *, e prevale la regola corrispondente più lunga, con Allow in caso di parità. Considera solo la pagina iniziale, «/». Esempio: se robots.txt contiene «User-agent: GPTBot» con «Disallow: /» e un gruppo «User-agent: *» che consente tutto, GPTBot è bloccato dalle proprie regole e tutti gli altri crawler sono autorizzati. Un robots.txt assente non pone limiti; uno illeggibile per un errore del server può indurre i crawler a fermarsi, quindi viene segnalato. Fonti: RFC 9309; policy Content Signals; llmstxt.org; sitemaps.org; schema.org. Il controllo legge quattro file pubblici una volta dal nostro server e non giudica se sia giusto bloccare un crawler IA: è una tua scelta, quindi la riga sui crawler IA è solo una nota. Non verifica regole per altri percorsi o header come X-Robots-Tag. Gli strumenti WebMCP registrati dagli script dopo il caricamento non sono visibili senza eseguire la pagina, quindi un marcatore assente non dimostra che il sito ne sia privo. ## FAQ **Devo bloccare i crawler IA?** È una scelta aziendale. Bloccare i crawler di addestramento esclude i contenuti dall’addestramento dei modelli; bloccare quelli di ricerca IA esclude il sito dalle risposte IA e dai loro link. Lo strumento mostra solo ciò che dice attualmente robots.txt. **robots.txt mantiene privati i contenuti?** No. È una richiesta rispettata dai crawler corretti, non un controllo degli accessi. I contenuti davvero privati richiedono un accesso autenticato. **Che cos’è una riga Content-Signal?** Una riga facoltativa di robots.txt come Content-Signal: search=yes, ai-input=yes, ai-train=no. Dichiara come possono essere usati i contenuti. Alcuni crawler la leggono; da sola non blocca nessuno. **Mi serve llms.txt?** È una proposta, non un requisito, e nessun motore di ricerca promette di usarlo. Pubblicarlo costa poco e alcuni strumenti IA lo leggono, quindi viene segnalato solo se esiste ma è malformato. **Perché la sitemap risulta non indicata in robots.txt?** Lo strumento l’ha trovata su /sitemap.xml, ma robots.txt non ha una riga Sitemap:. Aggiungerla permette a ogni crawler di trovarla senza tentativi. **Perché non vede i miei strumenti WebMCP?** Gli strumenti WebMCP sono solitamente registrati da script dopo il caricamento della pagina. Lo strumento cerca solo marcatori nell’HTML, come un modulo contrassegnato come strumento. More: [HowToolbox index](https://how.box/llms.txt) · [Agent Skill](https://how.box/skill.md) · [agent terms](https://how.box/it/about/agents/)