Aller au contenu

Votre site est-il prêt pour l’IA et la recherche ?

Ce que robots.txt indique aux robots de recherche et d’IA, et ce que votre site propose aux agents IA.

Par exemple example.com, sans https:// ni chemin. Le contrôle lit robots.txt, llms.txt, un sitemap et la page d’accueil.

Préparation à l’IA

Prêt à vérifier

Saisissez une adresse et cliquez sur Vérifier.

  • robots.txt
  • llms.txt
  • Sitemap
  • Données structurées (JSON-LD)

Ce que robots.txt indique aux robots de recherche et d’IA, et ce que votre site propose aux agents IA.

Mode d’emploi

  1. Saisissez le site à vérifier, comme example.com, sans https:// ni chemin.
  2. Appuyez sur Vérifier. L’outil lit robots.txt, llms.txt, un sitemap et la page d’accueil du site.
  3. Lisez les contrôles : chacun explique simplement les éléments trouvés et ce qu’il faut ajouter ou corriger. La liste en dessous montre les indications de robots.txt pour chaque robot connu.

Comment ça marche

Les moteurs de recherche et les systèmes d’IA lisent quelques fichiers publics avant d’utiliser un site. robots.txt indique quels robots peuvent récupérer quels chemins, et peut contenir une ligne Content-Signal précisant si le contenu peut servir à la recherche, aux réponses IA ou à l’entraînement IA. llms.txt est un court guide Markdown du site pour les modèles de langage. Un sitemap liste les pages, et le JSON-LD de l’accueil décrit le site aux machines avec les termes schema.org. WebMCP permet à une page de proposer des outils à un agent IA dans le navigateur. Ces quatre derniers éléments sont facultatifs ; ensemble, ils facilitent la découverte et l’utilisation du site.

Pour chaque robot connu, l’outil applique la RFC 9309, norme de robots.txt : le robot suit le groupe qui le nomme, sinon le groupe *, et la règle correspondante la plus longue l’emporte, avec priorité à Allow en cas d’égalité. Seule la page d’accueil, « / », est évaluée. Exemple : si robots.txt contient « User-agent: GPTBot » avec « Disallow: / » et un groupe « User-agent: * » autorisant tout, GPTBot est bloqué par ses propres règles et tous les autres robots sont autorisés. L’absence de robots.txt signifie aucune limite ; une erreur serveur empêchant sa lecture peut freiner les robots et est donc signalée. Sources : RFC 9309 ; politique Content Signals ; llmstxt.org ; sitemaps.org ; schema.org.

Le contrôle lit une fois quatre fichiers publics depuis notre serveur et ne juge pas s’il faut bloquer un robot d’IA : c’est votre choix, et la ligne correspondante est seulement informative. Il ne teste pas les règles d’autres chemins ni les en-têtes comme X-Robots-Tag. Les outils WebMCP enregistrés par script après chargement sont invisibles sans exécuter la page : l’absence de marqueur ne prouve donc pas qu’un site n’en a pas.

Sources

Sources et méthodes

Questions fréquentes

Faut-il bloquer les robots d’IA ?

C’est un choix d’entreprise. Bloquer les robots d’entraînement exclut votre contenu de l’entraînement des modèles ; bloquer ceux de recherche IA vous exclut des réponses IA et de leurs liens. L’outil montre seulement ce que dit actuellement votre robots.txt.

robots.txt rend-il le contenu privé ?

Non. C’est une demande respectée par les robots coopératifs, pas un contrôle d’accès. Tout contenu réellement privé nécessite une connexion.

Qu’est-ce qu’une ligne Content-Signal ?

Une ligne facultative de robots.txt, comme Content-Signal: search=yes, ai-input=yes, ai-train=no. Elle précise les usages autorisés du contenu. Certains robots la lisent ; elle ne bloque personne à elle seule.

llms.txt est-il nécessaire ?

C’est une proposition, pas une obligation, et aucun moteur de recherche ne promet de l’utiliser. Sa publication coûte peu et certains outils IA le lisent : il n’est signalé que s’il existe mais est mal formé.

Pourquoi mon sitemap est-il indiqué comme non déclaré dans robots.txt ?

L’outil l’a trouvé à /sitemap.xml, mais robots.txt n’a pas de ligne Sitemap:. L’ajouter permet à tous les robots de le trouver sans deviner.

Pourquoi mes outils WebMCP sont-ils invisibles ?

Les outils WebMCP sont généralement enregistrés par script après chargement. L’outil ne cherche que les marqueurs HTML, comme un formulaire déclaré comme outil.

Autres outils de la catégorie Web et réseau

Les 25 outils de la catégorie Web et réseau

Envoyer un avis