Aller au contenu

Référencer seulement quelques pages


enroc

Sujets conseillés

Bonjour,

voilà je voudrais n'indexer qu'une partie de mon site, le reste étant accessible aux internautes mais pas aux moteurs.

Voici donc mes questions : peut-on dans un robots.txt coupler des directives du genre "disallow: /" et "allow: /toto/" ?

Ou suis-je obliger d'insérer des balises métas robots : noindex dans toutes les pages que je ne souhaite pas voir indexées ?

Corentin

Lien vers le commentaire
Partager sur d’autres sites

Bonjour,

Je ne vois pas trop l'intérêt de ta manip, mais la question n'est pas là. ;)

allow: est compris par certains robots, mais ne fait pas partie de la norme robots.txt. Tu devrais peut-être penser à restructurer ton site en plusieurs répertoires de telle façon que toutes les pages à indexer (ou à ne pas indexer) soient groupées. Ce serait alors facile de les désigner avec robots.txt.

Jean-Luc

Lien vers le commentaire
Partager sur d’autres sites

En fait, si j'ai bien compris ton problème, tu veux mettre des allow pour les quelques pages à indexer et disallow pour celles que tu veux cacher.

En fait, ce qui importe surtout dans le robots.txt c'est de mettre les "disallow", le reste étant "allow" par défaut.

Donc en gros, tu listes toutes les pages que tu ne veux référencer et tu les mets toutes dans le robots.txt

y'a rien de sorcier

Lien vers le commentaire
Partager sur d’autres sites

c'est clair que ce sera la plus rapide (pour la partie robots.txt)

faut pas non plus que ça te prenne deux plombes de restructurer ton site...

bon courage,

Lien vers le commentaire
Partager sur d’autres sites

:D

Salut salut ...

Encore un petit truc...a moins que pendant mes vacances forcees les choses aient change :boude: je diraisqu'il serait pas malque tu couples ton fichier .txt avec une petite balise meta robot :"no index no follow" dans lespages concernees par le fait de ne pas etre indexees...

J ai deja vu pas mal de fois ou les moteurs de recherches avaient zappe complet les fichiers robots.txt

Lien vers le commentaire
Partager sur d’autres sites

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...