Wie gut ist deine Website auf KI und Suche vorbereitet?
Was robots.txt Such- und KI-Crawlern erlaubt und was deine Website KI-Agenten sonst noch bietet.
Deine Eingabe wird zur Prüfung an unseren Server gesendet. Wir protokollieren sie nicht. Öffentliche Prüfziele und Ergebnisse können kurz zwischengespeichert werden, um wiederholte Prüfungen zu vermeiden.
Zum Beispiel example.com, ohne https:// oder Pfad. Geprüft werden robots.txt, llms.txt, eine Sitemap und die Startseite.
KI-Bereitschaft
Bereit zur Prüfung
Gib eine Adresse ein und drücke auf Prüfen.
- robots.txt
- llms.txt
- Sitemap
- Strukturierte Daten (JSON-LD)
Was robots.txt Such- und KI-Crawlern erlaubt und was deine Website KI-Agenten sonst noch bietet.
Anleitung
- Gib die zu prüfende Website ein, etwa example.com, ohne https:// oder Pfad.
- Wähle Prüfen. Das Tool liest robots.txt, llms.txt, eine Sitemap und die Startseite.
- Lies die Prüfungen: Jede erklärt verständlich, was gefunden wurde und was fehlt oder zu beheben ist. Die Liste darunter zeigt die robots.txt-Angaben für jeden bekannten Crawler.
So funktioniert es
Suchmaschinen und KI-Systeme lesen einige öffentliche Dateien, bevor sie eine Website nutzen. robots.txt legt fest, welche Crawler welche Pfade abrufen dürfen. Eine Content-Signal-Zeile kann die Nutzung für Suche, als KI-Antworteingabe oder für KI-Training angeben. llms.txt ist eine kurze Markdown-Anleitung zur Website für Sprachmodelle. Eine Sitemap listet Seiten auf, JSON-LD auf der Startseite beschreibt die Website maschinenlesbar mit schema.org-Begriffen. WebMCP lässt Seiten Tools für KI-Agenten im Browser anbieten. Die letzten vier sind nicht vorgeschrieben; zusammen erleichtern sie das Finden und Nutzen einer Website.
Für jeden bekannten Crawler wendet das Tool RFC 9309 an, den robots.txt-Standard: Ein Crawler folgt seiner benannten Gruppe, sonst der Gruppe für *. Die längste passende Regel gewinnt, bei Gleichstand Allow. Geprüft wird nur die Startseite „/“. Beispiel: Enthält robots.txt „User-agent: GPTBot“ mit „Disallow: /“ und eine Gruppe „User-agent: *“, die alles erlaubt, ist GPTBot durch eigene Regeln gesperrt und jeder andere Crawler zugelassen. Eine fehlende robots.txt bedeutet keine Beschränkung. Ist sie wegen eines Serverfehlers unlesbar, können Crawler sich zurückhalten; das wird markiert. Quellen: RFC 9309; Content Signals policy; llmstxt.org; sitemaps.org; schema.org.
Die Prüfung liest vier öffentliche Dateien einmal von unserem Server. Sie bewertet nicht, ob das Sperren eines KI-Crawlers richtig ist: Das entscheidest du. Deshalb ist die KI-Crawler-Zeile nur ein Hinweis. Regeln für andere Pfade und Header wie X-Robots-Tag werden nicht geprüft. Nach dem Laden per Skript registrierte WebMCP-Tools sind ohne Ausführen der Seite nicht sichtbar. Ein fehlender Marker beweist daher nicht, dass keine vorhanden sind.
Quellen
- Content SignalsVerwendet für: Definitionen
- IETF RFC 9309: Robots Exclusion ProtocolVerwendet für: Definitionen
- llmstxt.org: The /llms.txt fileVerwendet für: Definitionen
- Schema.org: Getting startedVerwendet für: Definitionen
- sitemaps.org: Sitemaps XML formatVerwendet für: Definitionen
Häufige Fragen
Soll ich KI-Crawler sperren?
Das ist eine geschäftliche Entscheidung. Trainings-Crawler zu sperren hält deine Inhalte aus dem Modelltraining heraus. KI-Suchcrawler zu sperren hält dich aus KI-Antworten und ihren Links heraus. Dieses Tool zeigt nur, was deine robots.txt derzeit vorgibt.
Hält robots.txt Inhalte privat?
Nein. Sie ist eine Bitte, die regelkonforme Crawler beachten, keine Zugriffskontrolle. Wirklich private Inhalte brauchen eine Anmeldung.
Was ist eine Content-Signal-Zeile?
Eine optionale robots.txt-Zeile wie Content-Signal: search=yes, ai-input=yes, ai-train=no. Sie legt die erlaubte Inhaltsnutzung fest. Manche Crawler lesen sie; von sich aus sperrt sie niemanden.
Brauche ich llms.txt?
Sie ist ein Vorschlag, keine Pflicht, und keine Suchmaschine verspricht ihre Nutzung. Sie lässt sich günstig veröffentlichen und manche KI-Tools lesen sie. Deshalb wird sie nur markiert, wenn sie vorhanden, aber fehlerhaft ist.
Warum wird meine Sitemap als nicht in robots.txt genannt markiert?
Das Tool fand sie unter /sitemap.xml, aber robots.txt enthält keine Sitemap:-Zeile. Mit dieser Zeile findet jeder Crawler sie ohne Raten.
Warum erkennt es meine WebMCP-Tools nicht?
WebMCP-Tools werden meist nach dem Laden per Skript registriert. Das Tool sucht nur nach HTML-Markern, etwa einem als Tool markierten Formular.





