Fichiers robots.txt à télécharger.

Dans ce premier fichier tout est autorisé, les robots peuvent visiter et indexer librement votre site.

Dans le second fichier, au contraire, vous ne désirez ni la visite ni le référencement dans les moteurs de recherche, aucun robot n’est autorisé à parcourir votre espace.

Dans le troisième fichier, vous autorisez l’accès libre à l’intégralité de votre site à tous les robots, sauf à ceux qui ne respectent pas les contenus visités, et qui sont parfois plus des robots d’ "aspiration" de contenu que des robots d’exploration et d’indexation.