vosinformations.com

La balise meta robots

vince — 2007-09-25T14:04:45Z

Cette balise est à placer dans la partie de chaque page, entre les balises et . Tout comme pour le fichier robots.txt, l'absence signifie autorisation.

4 possibilités sont offertes :

index indique aux robots qu'ils sont autorisés à indexer la page.
noindex interdit aux robots d'indexer la page.

follow leur indique qu'ils peuvent suivre les liens présents sur la page.
nofollow leur interdit de suivre les liens.

noarchive est un paramètre optionnel qui interdit aux moteurs de recherche de montrer la copie de la page archivée dans leurs caches, il suffit de le rajouter cette mention.

Cette configuration est indispensable en cas de cloaking.
Elle peut également être utile pour interdire la mise en cache d'une page modifiée très régulièrement.

1- index,follow est la valeur par défaut de cette balise.
Si elle est absente, les robots indexeront la page et suivront les liens.

Balise par défaut : indexer + suivre les liens

ou

ou

ou

2- noindex,follow : ne pas indexer + suivre les liens

Syntaxe utilisée en cas de bombing.

3- index,nofollow : indexer + ne pas suivre les liens

4- noindex,nofollow : ne pas indexer + ne pas suivre les liens

La possibilité est offerte de placer une balise pour un robot particulier :

pour google :
pour msn :
pour yahoo :

Un site avec un fichier robots.txt peut utiliser la balise meta robots dans les pages, les pages contenant la balise doivent être autorisée d'accès par robots.txt.
En effet, si le robot n'a pas l'autorisation de lire une page, il ne peut évidemment pas aller voir ce que dit la balise meta qui s'y trouve.

Sitemap dans robots.txt

vince — 2007-09-24T20:19:15Z

Paradoxal, car sitemap.xml reprend la cartographie complète de l'indexation voulue du site, tandis que robots.txt reprends la totalité des éléments dont le référencement n'est pas souhaité... L'eau et le feu.

Soumettre son sitemap directement à l'indexation des robots de moteur de recherche est possible depuis début 2007.

La syntaxe est la suivante :

Plan Sitemap : emplacement_Sitemap

ce qui donne :

http://www.monsite.fr/sitemap.xml

Sur ce site, c'est :

http://www.vosinformations.com/site...

Apparemment la déclaration de sitemap dans robots.txt est indépendante de la ligne user-agent et l'insertion n'est pas soumise à contrainte, sauf à respecter la syntaxe proposée et surtout que l'adresse soit valide.
Conseil est chaudement recommandé de tester son adresse sitemap avant soumission, un essai dans le navigateur prends un temps de copier-coller.

L'article concernant cette évolution dans la documentation du protocole sitemap.

L'adresse complète est mentionnée, contrairement aux fichiers robots où l'adresse est relative, à partir de la racine du site.

Fichiers robots.txt à télécharger.

vince — 2007-09-24T20:17:42Z

Quelques cas simples prêts à l'emploi.

Dans ce premier fichier tout est autorisé, les robots peuvent visiter et indexer librement votre site.

Dans le second fichier, au contraire, vous ne désirez ni la visite ni le référencement dans les moteurs de recherche, aucun robot n'est autorisé à parcourir votre espace.

Dans le troisième fichier, vous autorisez l'accès libre à l'intégralité de votre site à tous les robots, sauf à ceux qui ne respectent pas les contenus visités, et qui sont parfois plus des robots d' "aspiration" de contenu que des robots d'exploration et d'indexation.

Contactez moi pour toute précision supplémentaire ou désir de fichier.

robots.txt

vince — 2007-09-24T20:17:32Z

Le fichier robots.txt est un fichier texte contenant des commandes à destination des robots d'indexation des moteurs de recherche (google, yahoo...) afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées.

Les moteurs de recherches scrutent en permanence le web à la recherche de nouveaux sites et de nouvelles pages à visiter et indexer, pour permettre de répondre aux recherches des utilisateurs.
En plus de visiter les innombrables nouveautés qui leur sont proposés, ils recherchent aussi les espaces qui n'ont pas sollicité leur inscription.
Pour diverses raisons, certaines de vos pages peuvent être confidentielles, ou en tous cas votre objectif n'est pas de les diffuser largement sur les moteurs . De la même manière, un site ou une page en construction ne doivent pas être la cible d'une telle aspiration.
C'est là qu'intervient le fichier robots.txt, présent sur votre serveur et qui donnera des indications de comportement et mentionnera les interdictions de visites entières ou partielles que vous aurez indiquées. Idem pour un site en mutation ou déménagement, si un répertoire ou un fichier est supprimé ou est déplacé, il convient de le renseigner dans le fichiers robots.txt pour qu'il ne soit plus cherché, les robots revisitent périodiquement les pages indexées pour les remettre à jour.

Les moteurs de recherche utilisent un robot dénommé spider (araignée) ou crawler pour parcourir et indexer la toile.
Lorsqu'il scrute un site nouveau (trouvé ou proposé), le robot cherche en premier lieu ce fichier qui se trouve à la racine du site.
Si l'adresse de votre site est http://www.monsite.fr/ le spider cherchera, en premier lieu, dès son arrivée sur le site http://www.monsite.fr/robots.txt Précision importante, il doit impérativement se trouver à cet endroit et il ne peut y en avoir qu'un par site.

Si ce fichier existe, il le lit et se conforme au indications qui y sont inscrites.
S'il ne le trouve pas il effectue son travail de lecture et de sauvegarde de la page qu'il est venu visiter, considérant qu'a priori rien ne lui est interdit.
C'est le principe d'indexation, tout est permis – accès libre comme n'importe quel internaute – sauf restriction du webmaster.

Le fichier robots.txt (minuscules et au pluriel) est un fichier ASCII.

Il est conseillé d'utiliser un éditeur de texte tel que le Bloc-notes, NotePad...
Des programmes comme Word sont utilisables, mais avec précaution, car ils rajoutent – sauvagement – des codes invisibles et le fichier sauvé sur le serveur peut parfois ne pas être au format ASCII pur.

La structure d'un fichier robots.txt est la suivante, le fichier est composé des deux instructions suivantes :

User-Agent : nom du robot, permet de préciser le robot concerné par les directives suivantes. La valeur * signifie tous les moteurs de recherche.

Disallow : permet d'indiquer les pages à exclure de l'indexation. Chaque page ou chemin à exclure est sur une ligne à part et doit commencer par / La valeur / toute seule, sans autre indication qui suit, signifie toutes les pages du site.

Exclusion de toutes les pages : aucune visite ou indexation n'est autorisée, tout est interdit.

User-Agent : *
Disallow : /

Exclusion d'aucune page , toutes les pages sont visitées :

User-Agent : *
Disallow :

Cela revient à l'absence de fichier robots.txt, ils sont libre de parcourir et d'indexer.

Autorisation d'un seul robot :

User-Agent : nomDuRobot
Disallow :

User-Agent : *
Disallow : /

La première consigne permet au « nomDuRobot » de visiter le site complet, la seconde interdit la visite à tous les autres. L'ordre est de la syntaxe est importante le robot « nomDuRobot » est autorisé, les autres interdits, si l'ordre est inversé, « nomDuRobot » ne parviendrait pas à la seconde indication, car il se sera arrêté à la première interdiction générale et quittera le site. (Principe de l'entonnoir)

Exclusion d'un robot :

User-Agent : NomDuRobot
Disallow : /

User-Agent : *
Disallow :

Même remarque que l'exemple précédent, dans un premier temps un robot particulier est exclu, dans un second, temps, les autres sont autorisés.

Exclusion d'une page en particulier :

User-Agent : *
Disallow : /repertoire/chemin/page.html

L'adresse du fichier est indiquée de manière relative, à partir de la racine du site, l'adresse de l'exemple précédent serait http://monsite.fr/repertoire/chemin...

Exclusion de toutes les pages d'un répertoire et ses sous-dossiers :

User-Agent : *
Disallow : /repertoire/

Interdire l'accès à tous les robots au répertoire /Dormir (donc http://monsite.fr/Dormir/) :

User-Agent : *
Disallow : /Dormir/

Interdire l'accès à tous les robots dans le répertoire /dormir, du fichier Bcp.hmtl (donc http://monsite.fr/Dormir/Bcp.html) :

User-Agent : *
Disallow : /Dormir/Bcp.html

Remarques :

Respectez la casse (majuscules et minuscules) des ordres et de vox fichiers : Disallow (et non disallow) /Dormir (et /non dormir).

L'écriture des ordres est Disallow : sans espace entre Disallow et :, puis 1] espace entre Disallow : et la suite.

Pas de ligne vide entre deux ordres, pour espacer vous pouvez vous servir de # pour incrémenter la ligne et commenter la ligne (utile pour se souvenir d'un ordre). Toute erreur de syntaxe, sera interprétée comme une absence de fichiers robots.txt et donc une autorisation de parcourir et d'indexer.

Voici l'exemple du fichier robots.txt du site

Portez une attention particulière à l'orthographe, d'abord du nom du fichier, il doit être écrit en minuscules robots.txt (et non ROBOTS.TXT).
Attention également au "s", robots.txt (et non robot.txt).
En cas d'erreur, le fichier est tout simplement ignoré et la liberté de l'automate totale.

Si le webmaster veut par exemple interdire l'accès au dossier cgi-bin (sur le serveur), alors que c'est Cgi-bin qui est renseigné, l'accès au dossier cgi-bin est autorisé au robot, qui pourra s'y rendre.