Een website kan honderden pagina’s bevatten zonder dat een van deze zichtbaar is vanuit het hoofdmenu. Tussen de wees-URL’s, de per ongeluk geblokkeerde inhoud en de pagina’s die meerdere klikken diep begraven zijn, komt de werkelijke kaart van een site bijna nooit overeen met wat de boomstructuur doet vermoeden.
Toegang krijgen tot alle pagina’s van een website veronderstelt dat men begrijpt hoe zoekmachines, browsers en configuratiebestanden samenwerken om inhoud te tonen (of te verbergen).
Onbereikbare pagina of simpelweg niet te vinden pagina: een technische onderscheiding
Wanneer een pagina niet wordt weergegeven, bestaan er twee heel verschillende situaties. De eerste: de pagina bestaat op de server, reageert met een HTTP-code 200, maar er wijst geen enkele interne link naar toe. Dit is een weespagina, technisch toegankelijk als men de URL kent, maar onzichtbaar voor crawlers en bezoekers.
De tweede: de pagina is geblokkeerd door een richtlijn in het robots.txt-bestand, beschermd door een authenticatie, of geeft een 403 of 404-code terug. In dit geval is de toegang beperkt of onmogelijk, zelfs als men het exacte adres kent.
De verwarring tussen deze twee gevallen is vaak aanwezig. Een URL die niet in de Google-zoekresultaten verschijnt, is niet per se verwijderd. Het kan simpelweg zijn uitgesloten van de index omdat een robots.txt-bestand de crawlers vraagt om deze niet te verkennen. De beschikbare gegevens maken het niet altijd mogelijk om zonder handmatige controle een beslissing te nemen: men moet de URL rechtstreeks in een browser testen en vervolgens de serverlogs raadplegen om de werkelijke status van de pagina te bevestigen.
Om deze logica toegepast op een concrete site te illustreren, kunt u toegang krijgen tot alle pagina’s van Le Site de Julia via zijn sitemap, wat het mogelijk maakt om te controleren welke URL’s zijn verklaard en welke ontbreken op deze lijst.
Robots.txt en RFC 9309: wat deze bestanden echt controleren
Het robots.txt-bestand wordt vaak verkeerd begrepen. Veel mensen beschouwen het als een beveiligingsmechanisme. In werkelijkheid is robots.txt geen toegangscontrole. Het geeft alleen aan welke paden de samenwerkende crawlers wel of niet mogen verkennen.
Een niet-samenwerkende crawler, of een menselijke gebruiker, kan deze richtlijnen negeren en vrij toegang krijgen tot de inhoud. Een URL die is verboden in robots.txt kan zelfs verschijnen in de zoekresultaten als deze wordt ontdekt via externe links. Werkelijk gevoelige inhoud moet worden beschermd door server-side authenticatie.
Sinds de publicatie van de RFC 9309 in september 2022, heeft het Robots Exclusion Protocol een formeel kader. Enkele belangrijke punten:
- De regels zijn van toepassing op een specifieke host, protocol en poort, wat betekent dat een robots.txt op poort 443 niet poort 80 van hetzelfde domein dekt.
- In geval van conflicten tussen richtlijnen, heeft de meest specifieke regel voorrang, met prioriteit voor de Allow-richtlijn in geval van gelijke specificiteit.
- Een storing of tijdelijke onbeschikbaarheid van het robots.txt-bestand kan tegenstrijdige effecten hebben afhankelijk van de crawlers: sommige zullen de verkenning onderbreken, terwijl anderen alles als toegestaan beschouwen.
Dit laatste punt wordt vaak over het hoofd gezien. Een server die een fout 500 retourneert in plaats van het robots.txt-bestand blokkeert de toegang niet: het maakt deze onvoorspelbaar.
Sitemap XML: een site in kaart brengen zonder garantie op volledigheid
De XML-sitemap is het meest directe hulpmiddel om de pagina’s van een website op te sommen. Deze is meestal te vinden op het adres /sitemap.xml, en kan ook worden vermeld in het robots.txt-bestand via de Sitemap-richtlijn.
De sitemap vergemakkelijkt het werk van zoekmachines door expliciet de URL’s op te geven die geïndexeerd moeten worden. Aan de andere kant is een sitemap nooit een bewijs van volledigheid. Daar zijn verschillende redenen voor:
- Pagina’s kunnen op de server bestaan zonder in de sitemap te staan, hetzij door vergetelheid, hetzij omdat ze zijn aangemaakt na de laatste generatie van het bestand.
- De Sitemap-richtlijn maakt geen deel uit van het centrale protocol dat is gedefinieerd door de RFC 9309. Een crawler kan deze dus negeren zonder de standaard te schenden.
- Sommige CMS’en genereren onvolledige sitemaps die bepaalde soorten inhoud uitsluiten (taxonomiepagina’s, archieven, PDF-documenten).
Om de werkelijke dekking van een site te controleren, is de enige betrouwbare methode om de gegevens van de sitemap te kruisen met de serverlogs en de HTTP-responses die zijn verkregen tijdens een volledige crawl. SEO-exploratiehulpmiddelen (crawlers) doorlopen de structuur van interne links en identificeren de discrepanties tussen de verklaarde pagina’s en de daadwerkelijk toegankelijke pagina’s.
Anti-robotcontroles en filtering op basis van type agent: gefragmenteerde toegang tot pagina’s
De ontdekking van alle pagina’s van een site wordt steeds meer beïnvloed door anti-robotbeschermingssystemen. Diensten zoals Cloudflare stellen beheerders nu in staat om zoekrobots, geautomatiseerde agents en AI-trainingsrobots te onderscheiden.
Deze segmentatie creëert een nieuwe situatie: een site kan perfect zichtbaar blijven in de Google-resultaten terwijl de toegang tot andere soorten crawlers wordt geblokkeerd. Voor een SEO-professional die probeert een concurrerende site in kaart te brengen, of voor een site-eigenaar die zijn eigen dekking controleert, variëren de resultaten van een crawl afhankelijk van de identifier (user-agent) die door het verkenningshulpmiddel wordt gebruikt.
In de praktijk betekent dit dat een klassiek SEO-crawl hulpmiddel de toegang kan worden geweigerd tot pagina’s die Googlebot zonder problemen verkent. De ervaringen op dit punt lopen uiteen: sommige crawlers omzeilen deze beperkingen door een standaard browser user-agent na te bootsen, terwijl anderen stilletjes falen zonder de blokkering te melden.
Het controleren van de servertoegangslogs blijft de meest betrouwbare methode om te bevestigen welke robots daadwerkelijk toegang hebben tot welke pagina’s. Zonder deze controle blijft elke lijst van pagina’s onvolledig.
Toegang krijgen tot alle pagina’s van een website is geen uniek technisch probleem, maar een samenstelling van controles: HTTP-status, aanwezigheid in de sitemap, robots.txt-richtlijnen, filtering op basis van user-agent. Elke laag kan verschillende URL’s verbergen of onthullen, en geen enkele geïsoleerde methode geeft een volledig beeld.
