Saltar al contenido

¿Está tu web preparada para la IA y los buscadores?

Qué indica robots.txt a cada rastreador de buscadores e IA y qué más ofrece tu web a los agentes de IA.

Por ejemplo example.com, sin https:// ni ruta. Se consultan robots.txt, llms.txt, un sitemap y la página de inicio.

Preparación para IA

Listo para comprobar

Introduce una dirección y pulsa Comprobar.

  • robots.txt
  • llms.txt
  • Sitemap
  • Datos estructurados (JSON-LD)

Qué indica robots.txt a cada rastreador de buscadores e IA y qué más ofrece tu web a los agentes de IA.

Cómo usar la herramienta

  1. Escribe el sitio que quieres comprobar, como example.com, sin https:// ni ruta.
  2. Pulsa Comprobar. La herramienta consulta robots.txt, llms.txt, un sitemap y la página de inicio.
  3. Lee las comprobaciones: cada una explica qué se ha encontrado y qué añadir o corregir. La lista inferior muestra qué indica robots.txt a cada rastreador conocido.

Cómo funciona

Los buscadores y los sistemas de IA leen algunos archivos públicos antes de usar un sitio. robots.txt indica qué rastreadores pueden consultar qué rutas y puede incluir una línea Content-Signal que indique si el contenido puede usarse para búsqueda, como entrada de respuestas de IA o para entrenar IA. llms.txt es una guía breve en Markdown del sitio para modelos de lenguaje. Un sitemap enumera las páginas y el JSON-LD de la página de inicio describe el sitio a las máquinas con términos de schema.org. WebMCP permite ofrecer herramientas a un agente de IA en el navegador. Ninguno de estos cuatro últimos elementos es obligatorio; juntos facilitan encontrar y usar el sitio.

Para cada rastreador conocido, la herramienta aplica RFC 9309, el estándar de robots.txt: un rastreador sigue el grupo que lo nombra o, en su defecto, el grupo de *; gana la regla coincidente más larga y Allow resuelve los empates. Solo se consulta la página de inicio, «/». Ejemplo: si robots.txt tiene «User-agent: GPTBot» con «Disallow: /» y un grupo «User-agent: *» que lo permite todo, GPTBot queda bloqueado por sus reglas propias y los demás rastreadores tienen permiso. Si falta robots.txt no hay límites; si no puede leerse por un error de servidor, puede frenar a los rastreadores, por lo que se avisa. Fuentes: RFC 9309; política Content Signals; llmstxt.org; sitemaps.org; schema.org.

La comprobación consulta una vez cuatro archivos públicos desde nuestro servidor y no juzga si bloquear un rastreador de IA es correcto: lo decides tú, así que esa línea es solo informativa. No prueba reglas de otras rutas ni cabeceras como X-Robots-Tag. Las herramientas WebMCP registradas por scripts tras cargar la página no pueden verse sin ejecutarla, por lo que la ausencia de marcadores no demuestra que el sitio no tenga herramientas.

Fuentes

Fuentes y métodos

Preguntas frecuentes

¿Debo bloquear los rastreadores de IA?

Es una decisión de negocio. Bloquear rastreadores de entrenamiento excluye tu contenido del entrenamiento de modelos; bloquear los de búsqueda con IA te excluye de sus respuestas y enlaces. Esta herramienta solo muestra qué indica ahora tu robots.txt.

¿robots.txt mantiene privado el contenido?

No. Es una petición que respetan los rastreadores responsables, no un control de acceso. Todo lo realmente privado requiere iniciar sesión.

¿Qué es una línea Content-Signal?

Una línea opcional de robots.txt como Content-Signal: search=yes, ai-input=yes, ai-train=no. Indica cómo puede usarse el contenido. Algunos rastreadores la leen; no bloquea a nadie por sí sola.

¿Necesito llms.txt?

Es una propuesta, no un requisito, y ningún buscador promete usarlo. Publicarlo cuesta poco y algunas herramientas de IA lo leen, por lo que solo se avisa si existe pero tiene formato incorrecto.

¿Por qué se indica que mi sitemap no aparece en robots.txt?

La herramienta lo ha encontrado en /sitemap.xml, pero robots.txt no tiene una línea Sitemap:. Añadirla permite a todos los rastreadores encontrarlo sin adivinar.

¿Por qué no ve mis herramientas WebMCP?

Las herramientas WebMCP suelen registrarse mediante scripts tras cargar la página. El comprobador solo busca marcadores en el HTML, como un formulario marcado como herramienta.

Enviar comentarios