Sito non indicizzato: perché Google non mostra le tue pagine

In Search Console, sotto Indicizzazione > Pagine, Google divide il sito in due gruppi: le pagine indicizzate e quelle no, con il motivo dell'esclusione. Il secondo numero è spesso più alto del primo, e da solo non dice niente. Alla domanda se sia un problema che una pagina non venga indicizzata, la guida del rapporto risponde «Assolutamente no». Nella stessa pagina aggiunge però che tutte le pagine importanti dovrebbero esserlo, ed è da lì che conviene partire.

Prima guarda quali pagine mancano

Nella guida al funzionamento della Ricerca Google scrive che non garantisce la scansione né l'indicizzazione di una pagina, anche quando rispetta tutte le regole. Nel rapporto chiarisce anche l'obiettivo: far indicizzare la versione canonica di ogni pagina importante.

Per ogni indirizzo escluso la domanda è se un cliente dovrebbe trovarlo cercando su Google. La pagina di un servizio o un articolo sì. Un indirizzo con i parametri di un filtro o il vecchio URL che ora reindirizza no, ed è giusto che restino fuori.

Su un sito grande l'elenco non mostra tutto: la stessa guida avverte che gli URL di esempio si fermano a 1.000. Suggerisce anche di inviare una sitemap con le sole pagine importanti e di filtrare il rapporto su quella: lo propone per accelerare la convalida delle correzioni, ma intanto l'elenco mostra solo gli indirizzi che contano. Per controllare una pagina alla volta c'è lo strumento Controllo URL, che dice se Google la conosce, quale canonical ha scelto e se ha trovato un noindex.

I motivi di esclusione che contano

I nomi sono quelli della guida di Google; nel pannello li trovi nella tabella «Perché le pagine non sono indicizzate».

Pagina scansionata, ma attualmente non indicizzata

Google ha letto la pagina e per ora ha deciso di non metterla nell'indice. La guida dice che non serve inviarla di nuovo per la scansione: l'ha già vista.

Non c'è un errore tecnico da correggere. Di solito Google non ha trovato nella pagina niente che non avesse già da un'altra parte: la scheda prodotto con la descrizione copiata dal produttore, la stessa pagina rifatta una volta per ogni città. Le indicazioni sui contenuti utili chiedono se si sta «riassumendo principalmente l'opinione di altre persone senza aggiungere valore», e le norme sullo spam trattano come abuso le tante pagine fatte per posizionarsi, indipendentemente da come sono state create. Quindi o la pagina diventa utile, o la lasci fuori e colleghi meglio quelle che contano, partendo dalle pagine che Google già considera importanti.

Rilevata, ma attualmente non indicizzata

Google conosce l'indirizzo ma non l'ha ancora visitato. Secondo la guida, in genere ha rimandato la scansione perché rischiava di sovraccaricare il sito. Se resta per settimane su molte pagine, o il server risponde lento o le pagine sono tante e poco collegate fra loro.

Pagina duplicata, Google ha scelto un'altra canonica

Il nome completo è «Pagina duplicata, Google ha scelto una pagina canonica diversa da quella specificata dall'utente». Hai indicato una pagina come principale con il tag canonical e Google ne ha preferita un'altra. Può farlo: la guida sulla canonicalizzazione scrive che la preferenza canonica è un suggerimento, non una regola.

Il caso tipico è la stessa pagina servita da più indirizzi: con e senza www, in http e in https, con e senza barra finale, con e senza un prefisso di lingua. Il rimedio è lasciare un solo indirizzo e reindirizzare gli altri in modo permanente: per Google i codici 301 e 308 sono reindirizzamenti permanenti e indicano che la canonica dovrebbe essere la destinazione.

URL con noindex o bloccati da robots.txt

«URL contrassegnato con "noindex"» vuol dire che è la pagina stessa a chiedere di restare fuori. Se l'hai messo tu, va bene così. Se no, va tolto. Capita dopo un rifacimento, quando il sito di prova aveva il noindex e la versione nuova va online con lo stesso modello.

Il noindex può stare in due posti: in un meta tag dentro la pagina o nell'intestazione X-Robots-Tag che il server manda insieme alla pagina. La seconda, guardando il codice, non si vede. Il nostro strumento gratuito di visibilità li controlla tutti e due sulla pagina iniziale.

«URL bloccato da robots.txt» è un'altra cosa, e per nascondere una pagina è lo strumento sbagliato. La guida del rapporto avverte che il blocco non garantisce che la pagina resti fuori dall'indice. Google non la legge, quindi non vede nemmeno un eventuale noindex: per escluderla si toglie il blocco e si usa il noindex.

Reindirizzamenti e pagine 404

Un indirizzo che reindirizza non entra nell'indice, al suo posto Google valuta la destinazione. Un 404 va bene se la pagina è stata tolta e non ha un sostituto; se è stata spostata, serve un 301 verso il nuovo indirizzo.

Il soft 404 è una pagina che mostra «non trovato» ma risponde con un codice di successo. Google la scarta, e se sono tante Googlebot spreca le sue visite su pagine vuote. Le producono spesso la ricerca interna senza risultati e le categorie di un e-commerce rimaste senza prodotti.

Gli URL /it che Google aveva trovato da noi

Il nostro sito ha l'italiano senza prefisso e l'inglese sotto /en. A settembre, rileggendo Search Console, abbiamo trovato alcune pagine indicizzate anche con /it davanti: /it/servizi/seo accanto a /servizi/seo, per esempio. Un difetto di configurazione faceva rispondere il sito anche a quegli indirizzi, quindi avevamo due URL per la stessa pagina e Google poteva scegliere quello sbagliato.

Il 19 settembre l'abbiamo chiuso con un reindirizzamento permanente (308) da /it e da tutto quello che sta sotto verso l'indirizzo senza prefisso. Ogni pagina dichiara sé stessa come canonica e indica la versione nell'altra lingua con hreflang, come chiede la guida sulle versioni localizzate. La sitemap il 22 ottobre elencava 83 indirizzi fra italiano e inglese.

Il rapporto lo rileggiamo il 7 dicembre e il 4 gennaio, e il numero che guardiamo è quello delle pagine scansionate ma non indicizzate. Se cresce mentre pubblichiamo articoli, vuol dire che Google li trova poco utili, e allora conviene pubblicarne meno e migliorare quelli che ci sono.

Tempi e richieste di indicizzazione

Non c'è un tempo fisso per vedere indicizzata una pagina nuova. Google scrive che la scansione può richiedere da alcuni giorni ad alcune settimane e che chiederla non garantisce l'inclusione nei risultati.

Il pulsante «Richiesta di indicizzazione» del Controllo URL serve per una pagina nuova o cambiata molto. C'è una quota per gli invii singoli, e chiederla più volte per lo stesso indirizzo non accelera la scansione. Per tante pagine si usa la sitemap, che aiuta Google a trovare gli indirizzi ma non garantisce che vengano scansionati e indicizzati; su un sito di circa 500 pagine al massimo, ben collegate fra loro, secondo Google potrebbe non servire. Se la mandi, metti date di modifica vere: Google usa il campo lastmod solo se è corretto in modo coerente, e ignora priorità e frequenza.

Per un primo controllo da fuori c'è il nostro strumento gratuito di visibilità: gli dai l'indirizzo e ti dice se la pagina chiede di restare fuori dall'indice, se il testo arriva anche senza JavaScript e se dalla prima pagina si raggiungono le altre, con i collegamenti interni e la sitemap.

Se nel rapporto ci sono pagine importanti fuori dall'indice e non capisci perché, scrivici: lo leggiamo con te e controlliamo indirizzi, canonical e reindirizzamenti nel codice del sito.