Jump to content

* sur disallow dans robots.txt


Recommended Posts

Bonjour,

Dans un fichier robots.txt j'ai remarqué des lignes telles que celles-ci :

Disallow: /topic
Disallow: /topic*

A votre avis quelle était l'intention de la personne qui a ajouté Disallow: /topic* ?

Link to comment
Share on other sites

A votre avis quelle était l'intention de la personne qui a ajouté Disallow: /topic* ?
C'est clair. La personne ne connaît pas la syntaxe standard du robots.txt. Elle pense qu'il faut utiliser * pour dire "n'importe quelle séquence de caractères", ce qui n'est pas correct.

Disallow: /topic

interdit le crawl de toute URL commençant par /topic.

Jean-Luc

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
×
×
  • Create New...