La balise meta robots

4 possibilités sont offertes :

index indique aux robots qu’ils sont autorisés à indexer la page.
noindex interdit aux robots d’indexer la page.

follow leur indique qu’ils peuvent suivre les liens présents sur la page.
nofollow leur interdit de suivre les liens.

noarchive est un paramètre optionnel qui interdit aux moteurs de recherche de montrer la copie de la page archivée dans leurs caches, il suffit de le rajouter cette mention.
<meta name="robots" content="xxx,xxx,noarchive">
Cette configuration est indispensable en cas de cloaking.
Elle peut également être utile pour interdire la mise en cache d’une page modifiée très régulièrement.

1- index,follow est la valeur par défaut de cette balise.
Si elle est absente, les robots indexeront la page et suivront les liens.

Balise par défaut : indexer + suivre les liens
<meta name="robots" content="index,follow">
ou
<meta name="robots" content="follow">
ou
<meta name="robots" content="index">
ou
<meta name="robots" content="all">

2- noindex,follow : ne pas indexer + suivre les liens

<meta name="robots" content="noindex,follow">
ou
<meta name="robots" content="noindex">

Syntaxe utilisée en cas de bombing.

3- index,nofollow : indexer + ne pas suivre les liens

<meta name="robots" content="index,nofollow">
ou
<meta name="robots" content="nofollow">

4- noindex,nofollow : ne pas indexer + ne pas suivre les liens

<meta name="robots" content="noindex,nofollow">
ou
<meta name="robots" content="none">

La possibilité est offerte de placer une balise pour un robot particulier :

• pour google : <meta name="googlebot" content="xxx,xxx">
• pour msn : <meta name="msnbot" content="xxx,xxx">
• pour yahoo : <meta name="y_key" content="xxx,xxx">