Hur redo är din webbplats för AI och sökningar?
Vad robots.txt säger till varje sök- och AI-robot, och vad webbplatsen mer erbjuder AI-agenter.
Din inmatning skickas till vår server för kontrollen. Vi loggar den inte. Offentliga kontrollmål och resultat kan mellanlagras tillfälligt för att undvika upprepade kontroller.
Till exempel example.com, utan https:// eller sökväg. Kontrollen läser robots.txt, llms.txt, en webbplatskarta och startsidan.
AI-beredskap
Redo att kontrollera
Ange en adress och tryck på Kontrollera.
- robots.txt
- llms.txt
- Webbplatskarta
- Strukturerade data (JSON-LD)
Vad robots.txt säger till varje sök- och AI-robot, och vad webbplatsen mer erbjuder AI-agenter.
Så använder du verktyget
- Skriv webbplatsen du vill kontrollera, som example.com, utan https:// eller sökväg.
- Tryck på Kontrollera. Verktyget läser webbplatsens robots.txt, llms.txt, en webbplatskarta och startsidan.
- Läs kontrollerna: varje kontroll förklarar med vanliga ord vad som hittades och vad som behöver läggas till eller åtgärdas. Listan nedan visar vad robots.txt säger till varje känd robot.
Så fungerar det
Sökmotorer och AI-system läser några offentliga filer innan de använder en webbplats. robots.txt anger vilka robotar som får hämta vilka sökvägar och kan ha en Content-Signal-rad som anger om innehållet får användas för sökning, som underlag för AI-svar eller för AI-träning. llms.txt är en kort Markdown-guide till webbplatsen för språkmodeller. En webbplatskarta listar sidorna och JSON-LD på startsidan beskriver webbplatsen för maskiner med schema.org-termer. WebMCP låter en sida erbjuda verktyg till en AI-agent i webbläsaren. Ingen av de sista fyra krävs; tillsammans gör de webbplatsen lätt att hitta och använda.
För varje känd robot tillämpar verktyget reglerna i RFC 9309, standarden för robots.txt: en robot följer gruppen som namnger den, annars gruppen för *, och den längsta matchande regeln vinner, med Allow vid lika längd. Bara startsidan, ”/”, kontrolleras. Exempel: om robots.txt har ”User-agent: GPTBot” med ”Disallow: /” och en ”User-agent: *”-grupp som tillåter allt, blockeras GPTBot av sina egna regler medan alla andra robotar tillåts. En saknad robots.txt betyder inga begränsningar; en fil som inte kan läsas på grund av serverfel kan få robotar att avstå och flaggas därför. Källor: RFC 9309; Content Signals policy; llmstxt.org; sitemaps.org; schema.org.
Kontrollen läser fyra offentliga filer en gång från vår server och bedömer inte om det är rätt att blockera en AI-robot: det är ditt val, så raden för AI-robotar är bara en upplysning. Den testar inte regler för andra sökvägar eller huvuden som X-Robots-Tag. WebMCP-verktyg som skript registrerar efter sidladdning syns inte utan att sidan körs, så en saknad markör bevisar inte att webbplatsen saknar verktyg.
Källor
- Content SignalsAnvänds för: definitioner
- IETF RFC 9309: Robots Exclusion ProtocolAnvänds för: definitioner
- llmstxt.org: The /llms.txt fileAnvänds för: definitioner
- Schema.org: Getting startedAnvänds för: definitioner
- sitemaps.org: Sitemaps XML formatAnvänds för: definitioner
Vanliga frågor
Bör jag blockera AI-robotar?
Det är ett affärsbeslut. Att blockera träningsrobotar håller innehållet utanför modellträning; att blockera AI-sökrobotar håller dig utanför AI-svar och deras länkar. Verktyget visar bara vad din robots.txt säger just nu.
Håller robots.txt innehåll privat?
Nej. Det är en begäran som välskötta robotar respekterar, ingen åtkomstkontroll. Allt som verkligen är privat behöver inloggning.
Vad är en Content-Signal-rad?
En valfri rad i robots.txt, som Content-Signal: search=yes, ai-input=yes, ai-train=no. Den anger hur innehållet får användas. Vissa robotar läser den; den blockerar ingen i sig.
Behöver jag llms.txt?
Det är ett förslag, inget krav, och ingen sökmotor lovar att använda den. Den är billig att publicera och vissa AI-verktyg läser den, så den flaggas bara när den finns men är felaktigt utformad.
Varför markeras min webbplatskarta som inte angiven i robots.txt?
Verktyget hittade den på /sitemap.xml, men robots.txt saknar en Sitemap:-rad. Lägg till raden så kan alla robotar hitta den utan att gissa.
Varför syns inte mina WebMCP-verktyg?
WebMCP-verktyg registreras vanligen av skript efter sidladdning. Verktyget letar bara efter markörer i HTML-koden, till exempel ett formulär markerat som verktyg.





