Aller au contenu

Interdire l'indexation d'un répertoire commençant par ...


toniok

Sujets conseillés

Les pros de la syntaxe du fichier robots.txt peuvent-ils confirmer que la ligne

Disallow: /a

permet d'empêcher l'indexation d'un répertoire commençant par la lettre "a" ?

J'ai trouvé des informations contradictoires à ce sujet.

J'ai aussi mis en place un petit test pour vérifier ceci en grandeur nature, mais en attendant le crawl, j'aurais bien aimé avoir vos avis !

Lien vers le commentaire
Partager sur d’autres sites

Ton affirmation est exacte et pas seulement pour Google. Cela fait partie de la norme robots.txt qui date de 1994.

Disallow

The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved.

Jean-Luc

Lien vers le commentaire
Partager sur d’autres sites

Tu as raison, je pense toutefois que Google a ajouté la reconnaissance des wildcards dans les noms de répertoires.

Mais tous les moteurs reconnaissent les partiels.

Ou alors il faut que je me replonge dans la norme du robots.txt :(

Lien vers le commentaire
Partager sur d’autres sites

Merci Jean Luc pour ta précision et ta référence.

Mon test ne servira alors qu'à vérifier si oui ou non les moteurs autres que Google respectent la norme.

Lien vers le commentaire
Partager sur d’autres sites

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...