Aller au contenu

Suivi des Liens en Disallow:


Bocar

Sujets conseillés

Bonjour

J'ai une nouvelle question à propos du suivi des liens

Lorsque le bot parcours les pages, on peut lui indiquer certaines a ne pas crawler grace a Disallow:

Mais, suit-il quand meme ces liens lorsqu'il navigue pour crawler d'autres pages se trouvant derrière ces liens, ou ne les suit-il pas du tout dans ce cas ?

Merci

Lien vers le commentaire
Partager sur d’autres sites

Bonjour,

D'après mon experience personnelle, il ne les suit pas du tout.

C'est en tout cas ce que j'ai pu constater sur mes sites (que ce soit grace au Disallow dans le robots.txt ou grace au rel="nofollow" sur le lien concerné)

Lien vers le commentaire
Partager sur d’autres sites

Lorsque le bot parcours les pages, on peut lui indiquer certaines a ne pas crawler grace a Disallow:

Mais, suit-il quand meme ces liens lorsqu'il navigue pour crawler d'autres pages se trouvant derrière ces liens, ou ne les suit-il pas du tout dans ce cas ?

Il ne les suit pas du tout.

Un robot qui respecte la norme ne visite pas une page interdite par le Disallow:. Il n'a donc aucun moyen de savoir quels liens sont présents dans cette page.

Jean-Luc

Lien vers le commentaire
Partager sur d’autres sites

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...