Le fichier robots.txt est un fichier au format texte qui est placé à la racine du site. Le fichier robots.txt contient des informations sur les ressources du site à indexer ou pas par les robots d'indexation des moteurs de recherche.
Attention, il s'agit juste d'une information, certains robots tiendrons compte du robots.txt, d'autres robots iront voir seulement, ce n'est donc pas un élément de sécurité.
En regardant mes logs, je me suis aperçu que le bot de Google demandait /robots.txt et générait une erreur 404 sur un des mes sites où je n'avais pas mis le robots.txt.
Je vous conseille donc de mettre le robots.txt à la racine de votre site avec cette valeur
Allow: /
Vous trouverez sur la Zone (X)HTML toutes les commandes possibles pour créer votre Le robots.txt.
En savoir plus Attention, il s'agit juste d'une information, certains robots tiendrons compte du robots.txt, d'autres robots iront voir seulement, ce n'est donc pas un élément de sécurité.
En regardant mes logs, je me suis aperçu que le bot de Google demandait /robots.txt et générait une erreur 404 sur un des mes sites où je n'avais pas mis le robots.txt.
Je vous conseille donc de mettre le robots.txt à la racine de votre site avec cette valeur
Exemple de code :
User-agent: *Allow: /
Vous trouverez sur la Zone (X)HTML toutes les commandes possibles pour créer votre Le robots.txt.
: http://www.aliasdmc.fr/webmaster/webmaster_610.html
