Un sitio web puede contener cientos de páginas sin que ninguna de ellas sea visible desde el menú principal. Entre las URL huérfanas, los contenidos bloqueados por error y las páginas enterradas a varios clics de profundidad, la cartografía real de un sitio casi nunca coincide con lo que su estructura sugiere.
Acceder a todas las páginas de un sitio web supone entender cómo los motores de búsqueda, los navegadores y los archivos de configuración interactúan para mostrar (o ocultar) un contenido.
Página inaccesible o página simplemente no encontrada: una distinción técnica
Cuando una página no se muestra, coexisten dos situaciones muy diferentes. La primera: la página existe en el servidor, responde con un código HTTP 200, pero ningún enlace interno apunta hacia ella. Es una página huérfana, técnicamente accesible si se conoce su URL, pero invisible para los robots de exploración y los visitantes.
La segunda: la página está bloqueada por una directiva en el archivo robots.txt, protegida por una autenticación, o devuelve un código 403 o 404. En este caso, incluso conociendo la dirección exacta, el acceso está restringido o es imposible.
La confusión entre estos dos casos es frecuente. Una URL ausente de los resultados de búsqueda de Google no está necesariamente eliminada. Puede simplemente estar excluida del índice porque un archivo robots.txt solicita a los robots que no la exploren. Los datos disponibles no siempre permiten decidir sin verificación manual: es necesario probar la URL directamente en un navegador y luego consultar los registros del servidor para confirmar el estado real de la página.
Para ilustrar esta lógica aplicada a un sitio concreto, puedes acceder a todas las páginas de Le Site de Julia a través de su mapa del sitio, lo que permite verificar qué URL están declaradas y cuáles están ausentes de esta lista.
Robots.txt y RFC 9309: lo que estos archivos realmente controlan
El archivo robots.txt a menudo se malinterpreta. Muchos lo consideran un mecanismo de seguridad. En realidad, robots.txt no constituye un control de acceso. Simplemente indica a los robots cooperativos los caminos que pueden o no explorar.
Un robot no cooperativo, o un usuario humano, puede ignorar estas directivas y acceder libremente al contenido. Una URL prohibida en robots.txt puede incluso aparecer en los resultados de búsqueda si es descubierta a través de enlaces externos. Los contenidos realmente sensibles deben estar protegidos por una autenticación del lado del servidor.
Desde la publicación de la RFC 9309 en septiembre de 2022, el Protocolo de Exclusión de Robots tiene un marco formal. Entre los puntos a recordar:
- Las reglas se aplican a un host, un protocolo y un puerto específicos, lo que significa que un robots.txt en el puerto 443 no cubre el puerto 80 del mismo dominio.
- En caso de conflicto entre directivas, la regla más específica prevalece, dando prioridad a la directiva Allow en caso de igualdad de especificidad.
- Una falla o una indisponibilidad temporal del archivo robots.txt puede producir efectos opuestos según los robots: algunos suspenderán la exploración, otros considerarán que todo está permitido.
Este último punto a menudo se pasa por alto. Un servidor que devuelve un error 500 en lugar del archivo robots.txt no bloquea el acceso: lo vuelve impredecible.
Sitemap XML: cartografiar un sitio sin garantía de exhaustividad
El mapa del sitio XML (sitemap) es la herramienta más directa para listar las páginas de un sitio web. Generalmente se encuentra en la dirección /sitemap.xml, y también puede ser referenciado en el archivo robots.txt a través de la directiva Sitemap.
El sitemap facilita el trabajo de los motores de búsqueda al declarar explícitamente las URL a indexar. Sin embargo, un sitemap nunca es una prueba de exhaustividad. Varias razones para esto:
- Las páginas pueden existir en el servidor sin figurar en el sitemap, ya sea por olvido o porque fueron creadas después de la última generación del archivo.
- La directiva Sitemap no forma parte del protocolo central definido por la RFC 9309. Por lo tanto, un robot puede ignorarla sin violar el estándar.
- Algunos CMS generan sitemaps incompletos que excluyen tipos de contenidos (páginas de taxonomía, archivos, documentos PDF).
Para verificar la cobertura real de un sitio, el único método fiable consiste en cruzar los datos del sitemap con los registros del servidor y las respuestas HTTP obtenidas durante un rastreo completo. Las herramientas de exploración SEO (crawlers) recorren la estructura de enlaces internos e identifican las discrepancias entre las páginas declaradas y las páginas realmente accesibles.
Controles anti-robots y filtrado por tipo de agente: el acceso fragmentado a las páginas
El descubrimiento de todas las páginas de un sitio se ve cada vez más afectado por los sistemas de protección anti-robots. Servicios como Cloudflare ahora permiten a los administradores distinguir entre robots de búsqueda, agentes automatizados y robots de entrenamiento IA.
Esta segmentación crea una nueva situación: un sitio puede seguir siendo perfectamente visible en los resultados de Google mientras bloquea el acceso a otros tipos de crawlers. Para un profesional del SEO que intenta cartografiar un sitio competidor, o para un propietario de sitio que verifica su propia cobertura, los resultados de un rastreo varían según el identificador (user-agent) utilizado por la herramienta de exploración.
En la práctica, esto significa que una herramienta de rastreo SEO clásica puede verse rechazada el acceso a páginas que Googlebot explora sin dificultad. Los comentarios del terreno divergen en este punto: algunos crawlers eluden estas restricciones imitando un user-agent de navegador estándar, otros fallan silenciosamente sin señalar el bloqueo.
Verificar los registros de acceso del servidor sigue siendo el método más fiable para confirmar qué robots acceden realmente a qué páginas. Sin esta verificación, cualquier lista de páginas sigue siendo parcial.
Acceder a todas las páginas de un sitio web no es un problema técnico único, sino una superposición de verificaciones: estado HTTP, presencia en el sitemap, directivas robots.txt, filtrado por user-agent. Cada capa puede ocultar o revelar URL diferentes, y ningún método aislado proporciona una imagen completa.
