Kui valmis on sinu veebisait tehisintellekti ja otsingu jaoks?
Mida robots.txt ütleb igale otsingu- ja AI-veebirobotile ning mida sait veel tehisintellekti agentidele pakub.
Sinu sisend saadetakse kontrolli tegemiseks meie serverisse. Me ei logi seda. Avalikke kontrolli sihtmärke ja tulemusi võidakse korduvate kontrollide vältimiseks ajutiselt vahemällu salvestada.
Näiteks example.com, ilma https:// ja teeta. Kontroll loeb robots.txt, llms.txt, üht saidikaarti ja avalehte.
Tehisintellektivalmidus
Valmis kontrollimiseks
Sisesta aadress ja vajuta Kontrolli.
- robots.txt
- llms.txt
- Saidikaart
- Struktureeritud andmed (JSON-LD)
Mida robots.txt ütleb igale otsingu- ja AI-veebirobotile ning mida sait veel tehisintellekti agentidele pakub.
Kuidas kasutada
- Sisesta kontrollitav sait, näiteks example.com, ilma https:// ja teeta.
- Vajuta „Kontrolli“. Tööriist loeb saidi robots.txt, llms.txt, üht saidikaarti ja avalehte.
- Loe kontrolle: igaüks ütleb lihtsas keeles, mida leiti ja mida lisada või parandada. Allolev loend näitab robots.txt juhiseid igale tuntud veebirobotile.
Kuidas see töötab
Otsingumootorid ja tehisintellektisüsteemid loevad enne saidi kasutamist mõnd avalikku faili. robots.txt ütleb, millised veebirobotid võivad milliseid teid laadida, ning võib sisaldada Content-Signal rida, mis määrab sisu kasutamise otsingus, tehisintellekti vastuse sisendina või treenimiseks. llms.txt on lühike Markdown-juhend keelemudelitele. Saidikaart loetleb lehti ning avalehe JSON-LD ütleb masinatele schema.org mõistetes, mis sait see on. WebMCP kaudu saab tehisintellekti agent kasutada lehe tööriistu brauseris. Viimased neli pole nõutud; koos teevad need saidi leidmise ja kasutamise lihtsamaks.
Iga tuntud veebiroboti jaoks rakendab tööriist robots.txt standardi RFC 9309 reegleid: robot järgib end nimetavat rühma, selle puudumisel * rühma, ning võidab pikim sobiv reegel, viigi korral Allow. Küsitakse ainult avalehe „/“ kohta. Näide: kui robots.txt sisaldab „User-agent: GPTBot“ koos reaga „Disallow: /“ ning kõike lubavat „User-agent: *“ rühma, on GPTBot oma reeglite järgi blokeeritud ja kõik teised veebirobotid lubatud. Puuduv robots.txt tähendab piirangute puudumist; serverivea tõttu loetamatu fail võib panna veebirobotid hoiduma ja märgitakse seetõttu probleemiks. Allikad: RFC 9309; Content Signals policy; llmstxt.org; sitemaps.org; schema.org.
Kontroll loeb neli avalikku faili üks kord meie serverist ega hinda, kas tehisintellekti veebiroboti blokeerimine on õige: see on sinu valik, seega on see rida ainult märkus. Muude teede reegleid ega päiseid nagu X-Robots-Tag ei testita. WebMCP-tööriistu, mille skriptid registreerivad pärast lehe laadimist, pole lehte käivitamata näha, seega puuduv märgis ei tõesta tööriistade puudumist.
Allikad
- Content SignalsKasutatud: definitsioonid
- IETF RFC 9309: Robots Exclusion ProtocolKasutatud: definitsioonid
- llmstxt.org: The /llms.txt fileKasutatud: definitsioonid
- Schema.org: Getting startedKasutatud: definitsioonid
- sitemaps.org: Sitemaps XML formatKasutatud: definitsioonid
Korduma kippuvad küsimused
Kas peaksin tehisintellekti veebirobotid blokeerima?
See on äriline otsus. Treeningurobotite blokeerimine hoiab sisu mudelite treenimisest väljas; tehisintellekti otsingu veebirobotite blokeerimine jätab sind välja tehisintellekti vastustest ja nende linkidest. Tööriist näitab ainult robots.txt praeguseid juhiseid.
Kas robots.txt hoiab sisu privaatsena?
Ei. See on korralike veebirobotite järgitav palve, mitte ligipääsukontroll. Päriselt privaatne sisu vajab sisselogimist.
Mis on Content-Signal rida?
Valikuline robots.txt rida, näiteks Content-Signal: search=yes, ai-input=yes, ai-train=no. See määrab sisu lubatud kasutuse. Mõni veebirobot loeb seda, kuid see ise kedagi ei blokeeri.
Kas vajan llms.txt faili?
See on ettepanek, mitte nõue, ning ükski otsingumootor ei luba seda kasutada. Selle avaldamine on odav ja mõni tehisintellektitööriist loeb seda, seega märgitakse see probleemiks ainult siis, kui fail on olemas, kuid vigane.
Miks on saidikaart märgitud robots.txt failis nimetamata kaardiks?
Tööriist leidis selle aadressilt /sitemap.xml, kuid robots.txt failis pole Sitemap: rida. Rea lisamine aitab igal veebirobotil selle oletamata leida.
Miks ei näe see minu WebMCP-tööriistu?
WebMCP-tööriistad registreeritakse tavaliselt skriptiga pärast lehe laadimist. Tööriist otsib ainult HTML-märgiseid, näiteks tööriistaks märgitud vormi.





