Sitemap, Robots.txt e Indicizzazione: La Guida Operativa alla SEO Tecnica di Base

Il tuo sito non compare su Google? Scrivi articoli perfetti, ma i clienti non ti trovano. Magari hai un negozio online che fattura, ma su Google sembra invisibile. Fermati un attimo: il problema potrebbe non essere il contenuto, ma come Google lo trova. Noi gestiamo decine di brand con Zenith, e ogni settimana vediamo siti con testi eccellenti ma completamente bloccati da errori tecnici banali. Sitemap assente, robots.txt che impedisce l'accesso, pagine non indicizzate. In questa guida ti portiamo dritto ai tre pilastri della SEO tecnica di base: sitemap, robots.txt, indicizzazione. Teoria minima, azioni concrete.

Perché la SEO Tecnica è la Base di Tutto

Pensa a Google come a un bibliotecario che deve catalogare milioni di libri nuovi ogni giorno. Se il tuo sito è un libro, il bibliotecario ha bisogno di tre cose:

• Un indice (la sitemap) per sapere quali pagine esistono.
• Un cartello all'ingresso (robots.txt) che gli dice quali sezioni può visitare.
• Un sistema per capire se una pagina è utile (indicizzazione) da mostrare agli utenti.

Se manca uno di questi elementi, il bibliotecario perde tempo — o peggio, non entra proprio. Noi partiamo sempre dalla stessa domanda: quanto costa questo errore in termini di mancato traffico? Un sito non indicizzato vale zero. Non importa quanto sia bello.

1. La Sitemap: L'Indice che Google si Aspetta

Cosa è e perché è fondamentale

Una sitemap (o "mappa del sito") è un file XML che elenca tutte le URL del tuo sito che vuoi vengano scoperte da Google. Serve soprattutto per:

• Siti grandi (più di 500 pagine) — aiuta Google a non perdersi.
• Siti nuovi — accelera la scoperta.
• Siti con poca link building interna — se una pagina non è collegata da nessuna parte, la sitemap è l'unica via.

Come creare e inviare una sitemap

La maggior parte dei CMS moderni genera automaticamente una sitemap. Per WordPress esistono plugin come Yoast SEO o Rank Math. Per siti statici o custom, puoi usare generatori online o scriverla a mano.

Esempio di sitemap XML (semplificato):

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.tuosito.it/</loc>
    <lastmod>2026-01-15</lastmod>
    <changefreq>weekly</changefreq>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://www.tuosito.it/servizi</loc>
    <lastmod>2026-01-10</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.8</priority>
  </url>
</urlset>

Una volta generata, devi inviarla a Google tramite Google Search Console. Vai alla sezione "Sitemap", incolla l'URL (es. https://www.tuosito.it/sitemap.xml) e premi "Invia". Google la analizzerà e ti dirà se ci sono errori.

Azione immediata: Controlla se il tuo sito ha una sitemap raggiungibile all'indirizzo /sitemap.xml. Se non c'è, installa un plugin o generane una. Invia a GSC.

2. Robots.txt: Il Cartello per Googlebot

Cos'è e come funziona

Robots.txt è un file di testo che istruisce i crawler (come Googlebot) su quali parti del sito possono o non possono esplorare. Va posizionato nella root del dominio: https://www.tuosito.it/robots.txt.

Attenzione: Un errore comune è bloccare completamente Googlebot. Esempio da evitare:

User-agent: *
Disallow: /

Questo dice a tutti i crawler di non entrare in nessuna pagina. Risultato: il tuo sito sparisce da Google. Lo vediamo spesso in siti in fase di sviluppo che vengono messi online con questo robots.txt dimenticato.

Scrivere un robots.txt corretto

Ecco un esempio di robots.txt funzionante per un sito tipico:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/

Sitemap: https://www.tuosito.it/sitemap.xml

• Blocca solo le aree private (back-end, file di sistema).
• Includi sempre il link alla sitemap (aiuta Google a trovarla).
• Non bloccare CSS o JavaScript (Google ne ha bisogno per capire il layout).

Azione immediata: Vai su https://www.tuosito.it/robots.txt e verifica che non contenga Disallow: / per Googlebot. Usa lo strumento di test di Google per simulare la crawl.

3. Indicizzazione: Come Google Giudica le Tue Pagine

Crawl, Index, Rank: il flusso

Google segue questo percorso:

1. Crawl — Googlebot scarica la pagina.
2. Index — La pagina viene analizzata e inserita nell'indice di Google (se idonea).
3. Rank — La pagina può apparire nei risultati di ricerca.

Il problema è che non tutte le pagine scoperte vengono indicizzate. Google salta pagine con contenuto povero, duplicate, lente o bloccate da noindex.

Noindex, Nofollow e Canonical

• noindex: tag HTML (o header HTTP) che dice a Google di non includere quella pagina nell'indice. Utile per pagine di ringraziamento, aree riservate, pagine di ricerca interna.
• nofollow: dice a Google di non seguire i link sulla pagina. Non blocca l'indicizzazione della pagina stessa.
• canonical: segnala la versione principale di una pagina quando esistono duplicati (es. http vs https, parametri URL).

Esempio: Se hai pagine prodotto con parametri di tracking (?utm_source=...), Google potrebbe vederle come duplicati. Aggiungi un tag canonical che punti all'URL pulito.

<link rel="canonical" href="https://www.tuosito.it/prodotto/scarpe-rosse" />

Verificare lo stato di indicizzazione

In Google Search Console, vai a Indicizzazione > Pagine. Qui vedi quante pagine del tuo sito sono state indicizzate, quante escluse e perché. Filtra per "Escluse" e guarda le cause principali:

• "Non indicizzata per errore 404" — pagine cancellate senza redirect.
• "Non indicizzata per direttiva noindex" — forse hai dimenticato un noindex su pagine importanti.
• "Scansionata ma non indicizzata (per contenuto di bassa qualità)" — devi migliorare il testo.

Azione immediata: Apri Google Search Console, sezione Indicizzazione, e controlla il rapporto. Se hai pagine importanti non indicizzate, correggi il blocco o migliora il contenuto. Puoi anche usare lo strumento "Controllo URL" per testare una specifica pagina.

4. Errori Comuni che Bruciano il Tuo Budget SEO

• Robots.txt che blocca risorse critiche (CSS, JS, immagini in sitemap). Google non riesce a visualizzare la pagina e la scarta.
• Sitemap con URL errate (parametri, sessioni, pagine 404). Controlla che tutte le URL nella sitemap restituiscano 200.
• Canonical sbagliato che punta a una pagina diversa dal contenuto. Google segue il canonical e non indicizza la pagina reale.
• Noindex su pagine strategiche (es. homepage, pagina servizi). Lo vediamo spesso in WordPress con plugin SEO mal configurati.

Come prevenirli: Inserisci un check mensile su GSC. In questa guida pillar sulla SEO per PMI trovi una checklist completa.

In Sintesi — Cosa Fare Subito

1. Genera e invia la sitemap a Google Search Console. Usa il formato XML, non HTML.
2. Controlla il robots.txt: assicurati che non blocchi Googlebot e che includa il link alla sitemap.
3. Verifica l'indicizzazione in GSC: quante pagine sono indicizzate? Quali sono escluse e perché?
4. Correggi errori comuni: noindex su pagine importanti, canonical sbagliato, URL rotte nella sitemap.
5. Ripeti il controllo ogni mese. La SEO tecnica non è un compito una tantum — i siti cambiano, i plugin si aggiornano, gli errori tornano.

Noi su questo abbiamo costruito parte del flusso di Zenith: quando pubblichi un nuovo contenuto, la piattaforma aggiorna automaticamente la sitemap e notifica Google. Ma anche se non usi Zenith, questi passaggi sono alla portata di chiunque. Falliscili e tutto il resto della SEO sarà sprecato.