Ce fichier est indispensable car il est le premier à être lu par les robots des moteurs lorsqu’ils examinent un site. En quelques lignes de texte, on précise si ces robots sont autorisés à effectuer leur travail d’exploration du contenu d'un site et quels sont les fichiers et répertoires qui ne doivent pas être indexés dans leurs résultats.

La démarche est ici très simple. Dans le compte outils pour Webmasters, il suffit de se rendre dans le menu ”outils” et de cliquer sur "Générer un fichier Robots.txt”

Dès lors, en 3 étapes, il est possible d’autoriser ou non l’ensemble des robots à explorer le site, puis d’affiner les réglages en ajoutant des recommandations particulières à l’un ou l’autre des robots.

Le contenu du fichier Robots.txt est ainsi généré. Il ne reste plus qu’à cliquer sur le bouton ”Télécharger” pour ensuite le placer à la racine du site.