Aller au contenu

* sur disallow dans robots.txt


Sujets conseillés

Bonjour,

Dans un fichier robots.txt j'ai remarqué des lignes telles que celles-ci :

Disallow: /topic
Disallow: /topic*

A votre avis quelle était l'intention de la personne qui a ajouté Disallow: /topic* ?

Lien vers le commentaire
Partager sur d’autres sites

A votre avis quelle était l'intention de la personne qui a ajouté Disallow: /topic* ?
C'est clair. La personne ne connaît pas la syntaxe standard du robots.txt. Elle pense qu'il faut utiliser * pour dire "n'importe quelle séquence de caractères", ce qui n'est pas correct.

Disallow: /topic

interdit le crawl de toute URL commençant par /topic.

Jean-Luc

Lien vers le commentaire
Partager sur d’autres sites

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...