Eine Website kann Hunderte von Seiten enthalten, ohne dass eine einzige davon im Hauptmenü sichtbar ist. Zwischen verwaisten URLs, versehentlich blockierten Inhalten und Seiten, die mehrere Klicks tief verborgen sind, entspricht die tatsächliche Kartierung einer Website fast nie dem, was ihre Struktur vermuten lässt.
Auf alle Seiten einer Website zuzugreifen, setzt voraus, dass man versteht, wie Suchmaschinen, Browser und Konfigurationsdateien interagieren, um Inhalte anzuzeigen (oder zu verbergen).
Unzugängliche Seite oder einfach nicht auffindbare Seite: eine technische Unterscheidung
Wenn eine Seite nicht angezeigt wird, existieren zwei sehr unterschiedliche Situationen. Die erste: Die Seite existiert auf dem Server, antwortet mit einem HTTP-Code 200, aber es gibt keinen internen Link, der auf sie verweist. Es handelt sich um eine verwaiste Seite, die technisch zugänglich ist, wenn man ihre URL kennt, aber für Crawler und Besucher unsichtbar bleibt.
Die zweite: Die Seite wird durch eine Anweisung in der Datei robots.txt blockiert, ist durch eine Authentifizierung geschützt oder gibt einen Code 403 oder 404 zurück. In diesem Fall ist der Zugang, selbst wenn man die genaue Adresse kennt, eingeschränkt oder unmöglich.
Die Verwirrung zwischen diesen beiden Fällen ist häufig. Eine URL, die nicht in den Google-Suchergebnissen erscheint, ist nicht unbedingt gelöscht. Sie kann einfach aus dem Index ausgeschlossen sein, weil eine robots.txt-Datei den Crawler auffordert, sie nicht zu durchsuchen. Die verfügbaren Daten erlauben es nicht immer, ohne manuelle Überprüfung eine Entscheidung zu treffen: Man muss die URL direkt in einem Browser testen und dann die Serverprotokolle einsehen, um den tatsächlichen Status der Seite zu bestätigen.
Um diese Logik an einer konkreten Website zu veranschaulichen, können Sie auf alle Seiten von Le Site de Julia über seine Sitemap zugreifen, was es ermöglicht zu überprüfen, welche URLs deklariert sind und welche in dieser Liste fehlen.
Robots.txt und RFC 9309: Was diese Dateien wirklich steuern
Die Datei robots.txt wird oft missverstanden. Viele betrachten sie als ein Sicherheitsmechanismus. In Wirklichkeit stellt robots.txt keine Zugangskontrolle dar. Sie gibt lediglich kooperativen Crawlern an, welche Pfade sie erkunden dürfen oder nicht.
Ein nicht kooperativer Crawler oder ein menschlicher Benutzer kann diese Anweisungen ignorieren und frei auf den Inhalt zugreifen. Eine in robots.txt verbotene URL kann sogar in den Suchergebnissen erscheinen, wenn sie durch externe Links entdeckt wird. Tatsächlich sensible Inhalte sollten durch eine serverseitige Authentifizierung geschützt werden.
Seit der Veröffentlichung der RFC 9309 im September 2022 hat das Robots Exclusion Protocol einen formalen Rahmen. Zu den wichtigsten Punkten:
- Die Regeln gelten für einen bestimmten Host, ein Protokoll und einen Port, was bedeutet, dass eine robots.txt auf Port 443 nicht den Port 80 derselben Domain abdeckt.
- Im Falle eines Konflikts zwischen Anweisungen hat die spezifischere Regel Vorrang, wobei der Anweisung Allow bei Gleichheit der Spezifität Vorrang gegeben wird.
- Ein Ausfall oder eine vorübergehende Nichtverfügbarkeit der Datei robots.txt kann je nach Crawler gegenteilige Effekte haben: Einige werden das Crawlen einstellen, während andere alles als erlaubt betrachten.
Dieser letzte Punkt wird oft vernachlässigt. Ein Server, der anstelle der Datei robots.txt einen Fehler 500 zurückgibt, blockiert den Zugriff nicht: Er macht ihn unvorhersehbar.
Sitemap XML: Eine Website kartieren ohne Garantie auf Vollständigkeit
Die XML-Sitemap (Sitemap) ist das direkteste Werkzeug, um die Seiten einer Website aufzulisten. Sie findet sich normalerweise unter der Adresse /sitemap.xml und kann auch in der Datei robots.txt über die Anweisung Sitemap referenziert werden.
Die Sitemap erleichtert die Arbeit der Suchmaschinen, indem sie die URLs, die indexiert werden sollen, ausdrücklich deklariert. Andererseits ist eine Sitemap niemals ein Beweis für Vollständigkeit. Dafür gibt es mehrere Gründe:
- Seiten können auf dem Server existieren, ohne in der Sitemap aufgeführt zu sein, entweder durch Vergessen oder weil sie nach der letzten Erstellung der Datei erstellt wurden.
- Die Anweisung Sitemap ist nicht Teil des zentralen Protokolls, das durch die RFC 9309 definiert ist. Ein Crawler kann sie daher ignorieren, ohne den Standard zu verletzen.
- Einige CMS generieren unvollständige Sitemaps, die bestimmte Inhaltstypen (Taxonomie-Seiten, Archive, PDF-Dokumente) ausschließen.
Um die tatsächliche Abdeckung einer Website zu überprüfen, besteht die einzige zuverlässige Methode darin, die Daten der Sitemap mit den Serverprotokollen und den HTTP-Antworten zu vergleichen, die während eines vollständigen Crawls erhalten wurden. SEO-Crawling-Tools durchlaufen die Struktur interner Links und identifizieren die Unterschiede zwischen den deklarierten Seiten und den tatsächlich zugänglichen Seiten.
Anti-Roboter-Kontrollen und Filterung nach Agententyp: Der fragmentierte Zugang zu Seiten
Die Entdeckung aller Seiten einer Website wird zunehmend von Anti-Roboter-Schutzsystemen beeinflusst. Dienste wie Cloudflare ermöglichen es Administratoren jetzt, Suchmaschinen-Crawler, automatisierte Agenten und KI-Trainings-Crawler zu unterscheiden.
Diese Segmentierung schafft eine neue Situation: Eine Website kann in den Google-Suchergebnissen perfekt sichtbar bleiben, während der Zugang zu anderen Arten von Crawlern blockiert wird. Für einen SEO-Experten, der versucht, eine konkurrierende Website zu kartieren, oder für einen Website-Besitzer, der seine eigene Abdeckung überprüft, variieren die Ergebnisse eines Crawls je nach verwendeter Identifikation (User-Agent) des Crawling-Tools.
In der Praxis bedeutet dies, dass ein klassisches SEO-Crawling-Tool den Zugang zu Seiten verweigert werden kann, die Googlebot problemlos durchsucht. Die Rückmeldungen aus der Praxis variieren in diesem Punkt: Einige Crawler umgehen diese Einschränkungen, indem sie einen User-Agent eines Standardbrowsers nachahmen, während andere stillschweigend scheitern, ohne die Blockade zu melden.
Die Überprüfung der Zugriffsprotokolle des Servers bleibt die zuverlässigste Methode, um zu bestätigen, welche Crawler tatsächlich auf welche Seiten zugreifen. Ohne diese Überprüfung bleibt jede Liste von Seiten unvollständig.
Auf alle Seiten einer Website zuzugreifen, ist kein einzigartiges technisches Problem, sondern eine Überlagerung von Überprüfungen: HTTP-Status, Präsenz in der Sitemap, Anweisungen robots.txt, Filterung nach User-Agent. Jede Schicht kann unterschiedliche URLs verbergen oder offenbaren, und keine isolierte Methode bietet ein vollständiges Bild.
