Les moteurs de recherche naviguent sur vos blogs et sites à la recherche de contenus à indexer. Malheureusement ces robots sont un peu gourmands et prennent donc tout ce qu'ils trouvent lors de leur exploration. Afin de les aider dans leur quête il est recommandé de mettre un petit fichier texte à la racine de votre site afin de donner des directives sur la manière d'explorer votre site avec des "go" "no go" en fonction des dossiers ou types de fichiers.

Lire la suite