# Tehisintellektivalmiduse kontrollija > Kui valmis on sinu veebisait tehisintellekti ja otsingu jaoks? Mida robots.txt ütleb igale otsingu- ja AI-veebirobotile ning mida sait veel tehisintellekti agentidele pakub. Kontrolli saidi tehisintellekti- ja otsinguvalmidust: robots.txt GPTBoti, ClaudeBoti ja Googleboti jaoks, llms.txt, saidikaart, JSON-LD ja WebMCP. - Page: https://how.box/et/ai-readiness/ - Uses our server; server limits: 10 requests/minute per visitor, 150 requests/day per visitor, 40 page/minute per visitor, 10 requests/minute per target, 10 requests/second per global. - License: HowToolbox's own text and data (titles, explanations, FAQs, tool descriptions and schemas, this file) are CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/); AI training and answers are welcome. Attribute "HowToolbox (how.box)" with a link to the page used. Third-party data keeps its own terms; the name and logo are not licensed. Publisher: HowToolbox, contact@how.box. Terms: https://how.box/et/about/terms/ ## Inputs Answer link: https://how.box/et/ai-readiness/?h={h} - `h` (text): Public site (host name) to check; the check runs when the page opens. Example: `example.com`. Example answer: https://how.box/et/ai-readiness/?h=example.com The page computes the answer in the browser: read results from the agent tools below, not from the page HTML. ## Agent tools - `ai_readiness_check_site`: Checks how ready a public website is for search engines, AI crawlers and agents, from four public files read once by our server: robots.txt, llms.txt, one sitemap and the home page. - Page only: runs on this page (WebMCP), not over MCP. ## How it works Otsingumootorid ja tehisintellektisüsteemid loevad enne saidi kasutamist mõnd avalikku faili. robots.txt ütleb, millised veebirobotid võivad milliseid teid laadida, ning võib sisaldada Content-Signal rida, mis määrab sisu kasutamise otsingus, tehisintellekti vastuse sisendina või treenimiseks. llms.txt on lühike Markdown-juhend keelemudelitele. Saidikaart loetleb lehti ning avalehe JSON-LD ütleb masinatele schema.org mõistetes, mis sait see on. WebMCP kaudu saab tehisintellekti agent kasutada lehe tööriistu brauseris. Viimased neli pole nõutud; koos teevad need saidi leidmise ja kasutamise lihtsamaks. Iga tuntud veebiroboti jaoks rakendab tööriist robots.txt standardi RFC 9309 reegleid: robot järgib end nimetavat rühma, selle puudumisel * rühma, ning võidab pikim sobiv reegel, viigi korral Allow. Küsitakse ainult avalehe „/“ kohta. Näide: kui robots.txt sisaldab „User-agent: GPTBot“ koos reaga „Disallow: /“ ning kõike lubavat „User-agent: *“ rühma, on GPTBot oma reeglite järgi blokeeritud ja kõik teised veebirobotid lubatud. Puuduv robots.txt tähendab piirangute puudumist; serverivea tõttu loetamatu fail võib panna veebirobotid hoiduma ja märgitakse seetõttu probleemiks. Allikad: RFC 9309; Content Signals policy; llmstxt.org; sitemaps.org; schema.org. Kontroll loeb neli avalikku faili üks kord meie serverist ega hinda, kas tehisintellekti veebiroboti blokeerimine on õige: see on sinu valik, seega on see rida ainult märkus. Muude teede reegleid ega päiseid nagu X-Robots-Tag ei testita. WebMCP-tööriistu, mille skriptid registreerivad pärast lehe laadimist, pole lehte käivitamata näha, seega puuduv märgis ei tõesta tööriistade puudumist. ## FAQ **Kas peaksin tehisintellekti veebirobotid blokeerima?** See on äriline otsus. Treeningurobotite blokeerimine hoiab sisu mudelite treenimisest väljas; tehisintellekti otsingu veebirobotite blokeerimine jätab sind välja tehisintellekti vastustest ja nende linkidest. Tööriist näitab ainult robots.txt praeguseid juhiseid. **Kas robots.txt hoiab sisu privaatsena?** Ei. See on korralike veebirobotite järgitav palve, mitte ligipääsukontroll. Päriselt privaatne sisu vajab sisselogimist. **Mis on Content-Signal rida?** Valikuline robots.txt rida, näiteks Content-Signal: search=yes, ai-input=yes, ai-train=no. See määrab sisu lubatud kasutuse. Mõni veebirobot loeb seda, kuid see ise kedagi ei blokeeri. **Kas vajan llms.txt faili?** See on ettepanek, mitte nõue, ning ükski otsingumootor ei luba seda kasutada. Selle avaldamine on odav ja mõni tehisintellektitööriist loeb seda, seega märgitakse see probleemiks ainult siis, kui fail on olemas, kuid vigane. **Miks on saidikaart märgitud robots.txt failis nimetamata kaardiks?** Tööriist leidis selle aadressilt /sitemap.xml, kuid robots.txt failis pole Sitemap: rida. Rea lisamine aitab igal veebirobotil selle oletamata leida. **Miks ei näe see minu WebMCP-tööriistu?** WebMCP-tööriistad registreeritakse tavaliselt skriptiga pärast lehe laadimist. Tööriist otsib ainult HTML-märgiseid, näiteks tööriistaks märgitud vormi. More: [HowToolbox index](https://how.box/llms.txt) · [Agent Skill](https://how.box/skill.md) · [agent terms](https://how.box/et/about/agents/)