Siirry sisältöön

Kuinka valmis verkkosivustosi on tekoälylle ja hakukoneille?

Mitä robots.txt kertoo kullekin haku- ja tekoälyrobotille ja mitä muuta sivustosi tarjoaa tekoälyagenteille.

Esimerkiksi example.com, ilman https://-alkua tai polkua. Tarkistus lukee sen robots.txt-, llms.txt- ja yhden sivukartan sekä etusivun.

Tekoälyvalmius

Valmis tarkistamaan

Kirjoita osoite ja paina Tarkista.

  • robots.txt
  • llms.txt
  • Sivukartta
  • Jäsennelty data (JSON-LD)

Mitä robots.txt kertoo kullekin haku- ja tekoälyrobotille ja mitä muuta sivustosi tarjoaa tekoälyagenteille.

Käyttöohje

  1. Kirjoita sivusto, jonka haluat tarkistaa, esimerkiksi example.com, ilman https://-alkua tai polkua.
  2. Paina Tarkista. Työkalu lukee sivuston robots.txt-, llms.txt-, yhden sivukartan ja etusivun.
  3. Lue tarkistukset: kukin kertoo selkokielellä, mitä löytyi ja mitä lisätä tai korjata. Alla oleva lista näyttää, mitä robots.txt kertoo kullekin tunnetulle robotille.

Näin se toimii

Hakukoneet ja tekoälyjärjestelmät lukevat muutaman julkisen tiedoston ennen kuin käyttävät sivustoa. robots.txt kertoo, mitkä robotit saavat hakea mitäkin polkuja, ja siinä voi olla Content-Signal-rivi, joka kertoo, saako sisältöä käyttää hakuun, tekoälyn vastauksen syötteenä vai tekoälyn koulutukseen. llms.txt on lyhyt Markdown-opas sivustoon kielimalleille. Sivukartta listaa sivut, ja etusivun JSON-LD kertoo koneille schema.org-termein, mikä sivusto on. WebMCP antaa sivun tarjota työkaluja selaimessa toimivalle tekoälyagentille. Mikään neljästä viimeisestä ei ole pakollinen; yhdessä ne tekevät sivustosta helpon löytää ja käyttää.

Kullekin tunnetulle robotille työkalu soveltaa RFC 9309:n, robots.txt:n standardin, sääntöjä: robotti noudattaa sen nimeävää ryhmää, muuten *-ryhmää, ja pisin täsmäävä sääntö voittaa, tasapelissä Allow voittaa. Se kysyy vain etusivusta, ”/”. Esimerkki: jos robots.txt:ssä on ”User-agent: GPTBot” ja ”Disallow: /” sekä ”User-agent: *” -ryhmä, joka sallii kaiken, GPTBot on estetty omilla säännöillään ja kaikki muut robotit sallitaan. Puuttuva robots.txt tarkoittaa, ettei rajoituksia ole; sellainen, jota ei voi lukea palvelinvirheen vuoksi, voi saada robotit pidättäytymään, joten se merkitään. Lähteet: RFC 9309; Content Signals -käytäntö; llmstxt.org; sitemaps.org; schema.org.

Tarkistus lukee neljä julkista tiedostoa kerran palvelimeltamme eikä arvioi, onko tekoälyroboton estäminen oikein: se on sinun valintasi, joten tekoälyrobottirivi on vain huomautus. Se ei testaa muiden polkujen sääntöjä tai otsikoita kuten X-Robots-Tag. WebMCP-työkaluja, jotka skriptit rekisteröivät sivun latautumisen jälkeen, ei näe ilman sivun ajamista, joten puuttuva merkintä ei todista, ettei sivustolla ole niitä.

Lähteet

Lähteet ja menetelmät

Usein kysyttyä

Pitäisikö tekoälyrobotit estää?

Se on liiketoimintapäätös. Koulutusrobottien estäminen pitää sisältösi pois mallien koulutuksesta; tekoälyhakurobottien estäminen pitää sinut pois tekoälyvastauksista ja niiden linkeistä. Tämä työkalu näyttää vain, mitä robots.txt tällä hetkellä sanoo.

Pitääkö robots.txt sisällön yksityisenä?

Ei. Se on pyyntö, jota hyvin käyttäytyvät robotit kunnioittavat, ei pääsynhallintaa. Kaikki aidosti yksityinen vaatii kirjautumisen.

Mikä on Content-Signal-rivi?

Valinnainen robots.txt-rivi, kuten Content-Signal: search=yes, ai-input=yes, ai-train=no. Se kertoo, miten sisältöä saa käyttää. Jotkin robotit lukevat sen; se ei yksinään estä ketään.

Tarvitsenko llms.txt:n?

Se on ehdotus, ei vaatimus, eikä mikään hakukone lupaa käyttää sitä. Sen julkaiseminen on halpaa ja jotkin tekoälytyökalut lukevat sen, joten se merkitään vain, kun se on olemassa mutta virheellinen.

Miksi sivukarttani on merkitty robots.txt:ssä mainitsemattomaksi?

Työkalu löysi sen osoitteesta /sitemap.xml, mutta robots.txt:ssä ei ole Sitemap:-riviä. Rivin lisääminen antaa jokaisen robotin löytää sen arvaamatta.

Miksi se ei näe WebMCP-työkalujani?

WebMCP-työkalut rekisteröidään yleensä skriptillä sivun latautumisen jälkeen. Työkalu etsii vain HTML:n merkintöjä, kuten työkaluksi merkittyä lomaketta.

Lisää kategoriasta Verkko ja verkkotekniikka

Kaikki 25 työkalua kategoriassa Verkko ja verkkotekniikka

Lähetä palautetta