Robots.txt

[Raoulmapoule]

Bonjour,

Savez vous comment réagissent les bots si l'on met dans le fichier robots.txt un truc du genre :

Disallow: /fichier.php?var=mavar

indexe-t-ils fichier.php à votre avis ?

Dans l'autre sens si j'ai un truc du genre :

Disallow: /fichier.php

indexe-t-ils fichier.php?var=mavar à votre avis ?

J'ai trouvé plusieurs posts à ce sujet mais sans réponse...

Modifié 26 Avril 2005 par Raoulmapoule

[Jeanluc]

[edit] Désolé, je revois ma réponse [/edit]

Jean-Luc

Modifié 26 Avril 2005 par Jeanluc

[Dan]

A mon sens, avec la syntaxe:

Disallow: /fichier.php

Il n'indexera pas le fichier, quelles que soient les variables en argument.

Avec la syntaxe

Disallow: /fichier.php?var=xyz

Le risque est qu'elle ne soit pas interprétée correctement... mais je n'ai pas de boule de cristal.

Dan

[Jeanluc]

Après réflexion, je pense que

Disallow: /fichier.php?var=xyz

est conforme au Standard for Robot Exclusion du 30 juin 1994.

Ce que dit le standard, c'est que l'accès à toute URL commençant par le texte spécifié est interdit:

- Disallow: /fichier.php interdit l'accès à tout ce qui commence par /fichier.php.

- Disallow: /fichier.php?var=xyz interdit l'accès à tout ce qui commence par /fichier.php?var=xyz et donc autorise l'accès à l'URL /fichier.php tout court.

Ça devrait marcher...

Jean-Luc