Un sito web può contenere centinaia di pagine senza che nessuna di esse sia visibile dal menu principale. Tra gli URL orfani, i contenuti bloccati per errore e le pagine sepolte a più clic di profondità, la mappatura reale di un sito non corrisponde quasi mai a ciò che la sua struttura lascia supporre.
Accedere a tutte le pagine di un sito web implica comprendere come i motori di ricerca, i browser e i file di configurazione interagiscono per rendere (o nascondere) un contenuto.
Pagina inaccessibile o pagina semplicemente non trovata: una distinzione tecnica
Quando una pagina non viene visualizzata, coesistono due situazioni molto diverse. La prima: la pagina esiste sul server, risponde con un codice HTTP 200, ma nessun link interno punta ad essa. È una pagina orfana, tecnicamente accessibile se si conosce il suo URL, ma invisibile per i robot di esplorazione e i visitatori.
La seconda: la pagina è bloccata da una direttiva nel file robots.txt, protetta da un’autenticazione, o restituisce un codice 403 o 404. In questo caso, anche conoscendo l’indirizzo esatto, l’accesso è ristretto o impossibile.
La confusione tra questi due casi è frequente. Un URL assente dai risultati di ricerca di Google non è necessariamente stato eliminato. Può semplicemente essere escluso dall’indice perché un file robots.txt chiede ai robot di non esplorarlo. I dati disponibili non sempre consentono di decidere senza una verifica manuale: è necessario testare l’URL direttamente in un browser e poi consultare i log del server per confermare lo stato reale della pagina.
Per illustrare questa logica applicata a un sito concreto, puoi accedere a tutte le pagine de Le Site de Julia tramite il suo piano di sito, il che consente di verificare quali URL sono dichiarati e quali rimangono assenti da questo elenco.
Robots.txt e RFC 9309: cosa controllano realmente questi file
Il file robots.txt è spesso frainteso. Molti lo considerano un meccanismo di sicurezza. In realtà, robots.txt non costituisce un controllo di accesso. Si limita a indicare ai robot cooperativi i percorsi che possono o non possono esplorare.
Un robot non cooperativo, o un utente umano, può ignorare queste direttive e accedere liberamente al contenuto. Un URL vietato in robots.txt può persino apparire nei risultati di ricerca se viene scoperto tramite link esterni. I contenuti realmente sensibili devono essere protetti da un’autenticazione lato server.
Dalla pubblicazione della RFC 9309 nel settembre 2022, il Protocollo di Esclusione dei Robot dispone di un quadro formale. Tra i punti da ricordare:
- Le regole si applicano a un host, un protocollo e una porta specifici, il che significa che un robots.txt sulla porta 443 non copre la porta 80 dello stesso dominio.
- In caso di conflitto tra direttive, la regola più specifica prevale, con priorità data alla direttiva Allow in caso di parità di specificità.
- Un’interruzione o un’indisponibilità temporanea del file robots.txt può produrre effetti opposti a seconda dei robot: alcuni sospenderanno l’esplorazione, altri considereranno che tutto sia consentito.
Quest’ultimo punto è spesso trascurato. Un server che restituisce un errore 500 al posto del file robots.txt non blocca l’accesso: lo rende imprevedibile.
Sitemap XML: mappare un sito senza garanzia di completezza
Il piano di sito XML (sitemap) è lo strumento più diretto per elencare le pagine di un sito web. Si trova generalmente all’indirizzo /sitemap.xml, e può anche essere referenziato nel file robots.txt tramite la direttiva Sitemap.
Il sitemap facilita il lavoro dei motori di ricerca dichiarando esplicitamente gli URL da indicizzare. D’altra parte, un sitemap non è mai una prova di completezza. Ci sono diverse ragioni per questo:
- Le pagine possono esistere sul server senza figurare nel sitemap, sia per dimenticanza, sia perché sono state create dopo l’ultima generazione del file.
- La direttiva Sitemap non fa parte del protocollo centrale definito dalla RFC 9309. Un robot può quindi ignorarla senza violare lo standard.
- Alcuni CMS generano sitemap incomplete che escludono tipi di contenuti (pagine di tassonomia, archivi, documenti PDF).
Per verificare la copertura reale di un sito, l’unico metodo affidabile consiste nel confrontare i dati del sitemap con i log del server e le risposte HTTP ottenute durante un crawl completo. Gli strumenti di esplorazione SEO (crawlers) percorrono la struttura dei link interni e identificano le discrepanze tra le pagine dichiarate e le pagine realmente accessibili.
Controlli anti-robot e filtraggio per tipo di agente: l’accesso frammentato alle pagine
La scoperta di tutte le pagine di un sito è sempre più influenzata dai sistemi di protezione anti-robot. Servizi come Cloudflare consentono ora agli amministratori di distingue i robot di ricerca, gli agenti automatizzati e i robot di addestramento IA.
Questa segmentazione crea una nuova situazione: un sito può rimanere perfettamente visibile nei risultati di Google mentre blocca l’accesso ad altri tipi di crawler. Per un professionista del SEO che cerca di mappare un sito concorrente, o per un proprietario di sito che verifica la propria copertura, i risultati di un crawl variano a seconda dell’identificativo (user-agent) utilizzato dallo strumento di esplorazione.
In pratica, ciò significa che uno strumento di crawl SEO classico può vedersi negato l’accesso a pagine che Googlebot esplora senza difficoltà. I feedback sul campo divergono su questo punto: alcuni crawler aggirano queste restrizioni imitandosi a un user-agent di browser standard, altri falliscono silenziosamente senza segnalare il blocco.
Controllare i log di accesso del server rimane il metodo più affidabile per confermare quali robot accedono realmente a quali pagine. Senze questa verifica, qualsiasi elenco di pagine rimane parziale.
Accedere a tutte le pagine di un sito web non è un problema tecnico unico, ma una sovrapposizione di verifiche: stato HTTP, presenza nel sitemap, direttive robots.txt, filtraggio per user-agent. Ogni strato può nascondere o rivelare URL diverse, e nessun metodo isolato fornisce un’immagine completa.
