Jump to content
Sign in to follow this  
Bocar

Suivi des Liens en Disallow:

Rate this topic

Recommended Posts

Bonjour

J'ai une nouvelle question à propos du suivi des liens

Lorsque le bot parcours les pages, on peut lui indiquer certaines a ne pas crawler grace a Disallow:

Mais, suit-il quand meme ces liens lorsqu'il navigue pour crawler d'autres pages se trouvant derrière ces liens, ou ne les suit-il pas du tout dans ce cas ?

Merci

Share this post


Link to post
Share on other sites

Bonjour,

D'après mon experience personnelle, il ne les suit pas du tout.

C'est en tout cas ce que j'ai pu constater sur mes sites (que ce soit grace au Disallow dans le robots.txt ou grace au rel="nofollow" sur le lien concerné)

Share this post


Link to post
Share on other sites

Merci pour la reponse

Je viens de rajouter quelques restrictions, je vais voir comment ça évolue.

Share this post


Link to post
Share on other sites
Lorsque le bot parcours les pages, on peut lui indiquer certaines a ne pas crawler grace a Disallow:

Mais, suit-il quand meme ces liens lorsqu'il navigue pour crawler d'autres pages se trouvant derrière ces liens, ou ne les suit-il pas du tout dans ce cas ?

Il ne les suit pas du tout.

Un robot qui respecte la norme ne visite pas une page interdite par le Disallow:. Il n'a donc aucun moyen de savoir quels liens sont présents dans cette page.

Jean-Luc

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

×
×
  • Create New...