un fichier txt pour moteur de recherche

[Web Annonce]

bonjour à tous,

j'ai entendu parler d'un fichier txt que l'on pouvait mettre sur le serveur de notre site, les moteurs vont generalement chercher dedans pouvez vous m'en dire plus ???

[Anonymus]

Bonjour,

tu trouveras tout un tas d'informations sur le site http://www.robotstxt.org/wc/robots.html (en anglais).

le principe est de mettre un fichier : robot.txt, que les robots d'indexation vont visiter. Ce fichier guide leurs recherches, en leur disant, par exemple, quels répertoires, quels fichiers ne pas indexer.

Le problème est que tous les robots ne suivent pas les directives de ce fichier.

Anonymus.