Per evitare che un sito web venga indicizzato dai motori di ricerca, è possibile adottare diverse strategie. La più diretta è utilizzare il file robots.txt. Questo file va posto nella directory principale del sito web e utilizzato per dare istruzioni ai motori di ricerca su quali pagine o sezioni non devono essere indicizzate. Ad esempio:

“`
User-agent: *
Disallow: /
“`

Questo codice dice a tutti i robot dei motori di ricerca (`User-agent: *`) di non indicizzare nessuna parte del sito (`Disallow: /`).

Un’altra strategia è l’uso del meta tag `robots` nelle singole pagine HTML. Inserendo il tag:

“`html

“`

per ogni pagina che non si desidera venga indicizzata, si dice ai motori di ricerca di non prendere in considerazione quella specifica pagina durante l’indicizzazione e di non seguire i link in essa contenuti.

È importante ricordare che anche se queste tecniche possono impedire all’indicizzazione, le informazioni potrebbero comunque essere scoperte o condivise in altri modi, perciò dovrebbero essere combinate con adeguate misure di sicurezza se l’intento è proteggere il contenuto da accessi non autorizzati.