Bonjour,

Je souhaite ne pas voir référencer certaines pages de la forme :

www.xxxx.com/boutique.php?s=yyyyyyyyyyyyyyyy

Est-ce possible dans un robots.txt ?

Bonjour adn,

Je te conseille d'intégrer directement dans ta page boutique.php cette balise :
<meta name="robots" content="noindex, follow" />
qui sera prise en compte sur toutes les variables de la page.

Sinon tu serais obligé de mettre toutes les possibilités de pages vues ( ?s=yyy ; ?s=zzz, ?s=yz ect ... ) dans ton robots.txt


<edit Jeff></edit>

Jeff,

Bonjour,

Que veux-tu faire exactement ?

Si tu ne veux pas que les robots visitent les adresses commençant par /boutique.php?s=, tu mets ceci dans les disallow de ton robots.txt :

Si tu ne veux pas que les robots visitent l'adresse unique /boutique.php?s=cette-valeur-ci, tu mets ceci dans les disallow de ton robots.txt :

Jean-Luc

[quote=Jeanluc,lundi 26 décembre 2005, 14h35]
Bonjour,

Que veux-tu faire exactement ?

Si tu ne veux pas que les robots visitent les adresses commençant par /boutique.php?s=, tu mets ceci dans les disallow de ton robots.txt :



c'est autorisé cette syntaxe ?
Je croyais que les regexp ne marchaient pas dans un robots.txt ?

Je crois que tu as lu trop vite... Ce que je propose n'est pas une expresssion régulière.

Jean-Luc

si j'ai bien compris ta syntaxe. ce que je ne comprend pas c'est : "commençant par".
Pour moi la syntaxe interdit la page : boutique.php?s= et seulement celle-là.

si ça marche, ça m'intéresse. merci pour l'info, ja vais aller tester

Beaucoup le croient, mais ce n'est pas ce que dit la spécification. J'ai essayé d'expliquer ici : http://www.annuaire-info.com/robots/txt.html

Tu as raison de dire que le standard robots.txt n'acceptent pas les expressions régulières, mais il compense cela, dans une certaine mesure, en considérant que ce qui est indiqué après un Disallow: est le début d'une URL interdite.

Donc, dans le deuxième exemple, pour être rigoureux, j'aurais dû écrireinterdit l'accès à toutes les URL qui commencent par /boutique.php?s=cette-valeur-ci, comme :
- /boutique.php?s=cette-valeur-ci
- /boutique.php?s=cette-valeur-ci2
- /boutique.php?s=cette-valeur-ci&couleur=rouge

Pour compliquer tout ça encore un peu plus, quelques robots acceptent des extensions du standard avec support des caractères spéciaux "*" et "$"

Jean-Luc

Merci à tous les deux

Je pensais comme anorci que cette syntaxe n'était pas possible :



Donc je vais ajouter çà dans mon fichier

Pour être encore plus précis, il s'agit d'un sous-domaine, je peux donc mettre un robots.txt directement à la racine ?

Le robots.txt du domaine principal ne concerne pas les sous-domaines. Le robots.txt du sous-domaine doit se trouver à l'adresse :
http://sous-domaine.domaine.com/robots.txt

Jean-Luc

Encore merci

merci pour les précisions, et l'articles sur robots.txt. instructif !