# KI-Bereitschaft prüfen > Wie gut ist deine Website auf KI und Suche vorbereitet? Was robots.txt Such- und KI-Crawlern erlaubt und was deine Website KI-Agenten sonst noch bietet. Prüfe KI- und Suchzugriff auf Websites: robots.txt für GPTBot, ClaudeBot und Googlebot, llms.txt, Sitemap, JSON-LD und WebMCP-Marker. - Page: https://how.box/de/ai-readiness/ - Uses our server; server limits: 10 requests/minute per visitor, 150 requests/day per visitor, 40 page/minute per visitor, 10 requests/minute per target, 10 requests/second per global. - License: HowToolbox's own text and data (titles, explanations, FAQs, tool descriptions and schemas, this file) are CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/); AI training and answers are welcome. Attribute "HowToolbox (how.box)" with a link to the page used. Third-party data keeps its own terms; the name and logo are not licensed. Publisher: HowToolbox, contact@how.box. Terms: https://how.box/de/about/terms/ ## Inputs Answer link: https://how.box/de/ai-readiness/?h={h} - `h` (text): Public site (host name) to check; the check runs when the page opens. Example: `example.com`. Example answer: https://how.box/de/ai-readiness/?h=example.com The page computes the answer in the browser: read results from the agent tools below, not from the page HTML. ## Agent tools - `ai_readiness_check_site`: Checks how ready a public website is for search engines, AI crawlers and agents, from four public files read once by our server: robots.txt, llms.txt, one sitemap and the home page. - Page only: runs on this page (WebMCP), not over MCP. ## How it works Suchmaschinen und KI-Systeme lesen einige öffentliche Dateien, bevor sie eine Website nutzen. robots.txt legt fest, welche Crawler welche Pfade abrufen dürfen. Eine Content-Signal-Zeile kann die Nutzung für Suche, als KI-Antworteingabe oder für KI-Training angeben. llms.txt ist eine kurze Markdown-Anleitung zur Website für Sprachmodelle. Eine Sitemap listet Seiten auf, JSON-LD auf der Startseite beschreibt die Website maschinenlesbar mit schema.org-Begriffen. WebMCP lässt Seiten Tools für KI-Agenten im Browser anbieten. Die letzten vier sind nicht vorgeschrieben; zusammen erleichtern sie das Finden und Nutzen einer Website. Für jeden bekannten Crawler wendet das Tool RFC 9309 an, den robots.txt-Standard: Ein Crawler folgt seiner benannten Gruppe, sonst der Gruppe für *. Die längste passende Regel gewinnt, bei Gleichstand Allow. Geprüft wird nur die Startseite „/“. Beispiel: Enthält robots.txt „User-agent: GPTBot“ mit „Disallow: /“ und eine Gruppe „User-agent: *“, die alles erlaubt, ist GPTBot durch eigene Regeln gesperrt und jeder andere Crawler zugelassen. Eine fehlende robots.txt bedeutet keine Beschränkung. Ist sie wegen eines Serverfehlers unlesbar, können Crawler sich zurückhalten; das wird markiert. Quellen: RFC 9309; Content Signals policy; llmstxt.org; sitemaps.org; schema.org. Die Prüfung liest vier öffentliche Dateien einmal von unserem Server. Sie bewertet nicht, ob das Sperren eines KI-Crawlers richtig ist: Das entscheidest du. Deshalb ist die KI-Crawler-Zeile nur ein Hinweis. Regeln für andere Pfade und Header wie X-Robots-Tag werden nicht geprüft. Nach dem Laden per Skript registrierte WebMCP-Tools sind ohne Ausführen der Seite nicht sichtbar. Ein fehlender Marker beweist daher nicht, dass keine vorhanden sind. ## FAQ **Soll ich KI-Crawler sperren?** Das ist eine geschäftliche Entscheidung. Trainings-Crawler zu sperren hält deine Inhalte aus dem Modelltraining heraus. KI-Suchcrawler zu sperren hält dich aus KI-Antworten und ihren Links heraus. Dieses Tool zeigt nur, was deine robots.txt derzeit vorgibt. **Hält robots.txt Inhalte privat?** Nein. Sie ist eine Bitte, die regelkonforme Crawler beachten, keine Zugriffskontrolle. Wirklich private Inhalte brauchen eine Anmeldung. **Was ist eine Content-Signal-Zeile?** Eine optionale robots.txt-Zeile wie Content-Signal: search=yes, ai-input=yes, ai-train=no. Sie legt die erlaubte Inhaltsnutzung fest. Manche Crawler lesen sie; von sich aus sperrt sie niemanden. **Brauche ich llms.txt?** Sie ist ein Vorschlag, keine Pflicht, und keine Suchmaschine verspricht ihre Nutzung. Sie lässt sich günstig veröffentlichen und manche KI-Tools lesen sie. Deshalb wird sie nur markiert, wenn sie vorhanden, aber fehlerhaft ist. **Warum wird meine Sitemap als nicht in robots.txt genannt markiert?** Das Tool fand sie unter /sitemap.xml, aber robots.txt enthält keine Sitemap:-Zeile. Mit dieser Zeile findet jeder Crawler sie ohne Raten. **Warum erkennt es meine WebMCP-Tools nicht?** WebMCP-Tools werden meist nach dem Laden per Skript registriert. Das Tool sucht nur nach HTML-Markern, etwa einem als Tool markierten Formular. More: [HowToolbox index](https://how.box/llms.txt) · [Agent Skill](https://how.box/skill.md) · [agent terms](https://how.box/de/about/agents/)