toniok Posted April 25, 2008 Posted April 25, 2008 Les pros de la syntaxe du fichier robots.txt peuvent-ils confirmer que la ligne Disallow: /a permet d'empêcher l'indexation d'un répertoire commençant par la lettre "a" ? J'ai trouvé des informations contradictoires à ce sujet. J'ai aussi mis en place un petit test pour vérifier ceci en grandeur nature, mais en attendant le crawl, j'aurais bien aimé avoir vos avis !
Dan Posted April 25, 2008 Posted April 25, 2008 Tout à fait ! Du moins pour Google. Tu trouveras toute l'info utile sur cette page : http://www.google.fr/support/webmasters/bi...=1&comment= Dan
toniok Posted April 25, 2008 Author Posted April 25, 2008 Merci pour ta réponse. Pour ce qui est des autres moteurs, je vous tiendrai au courant une fois que mon petit test aura pris.
Jeanluc Posted April 25, 2008 Posted April 25, 2008 Ton affirmation est exacte et pas seulement pour Google. Cela fait partie de la norme robots.txt qui date de 1994. Disallow The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved. Jean-Luc
Dan Posted April 25, 2008 Posted April 25, 2008 Tu as raison, je pense toutefois que Google a ajouté la reconnaissance des wildcards dans les noms de répertoires. Mais tous les moteurs reconnaissent les partiels. Ou alors il faut que je me replonge dans la norme du robots.txt
toniok Posted April 25, 2008 Author Posted April 25, 2008 Merci Jean Luc pour ta précision et ta référence. Mon test ne servira alors qu'à vérifier si oui ou non les moteurs autres que Google respectent la norme.
Recommended Posts
Please sign in to comment
You will be able to leave a comment after signing in
Sign In Now