Est-il possible d'utiliser dans robots.txt disallow sur un répertoire "virtuel" ?

[davidm]

Désolé si ma question est triviale, je ne suis pas expert en robots...

Habituellement, si je veux masquer un répertoire aux robots, je rajoute simplement :

 User-agent: *
Disallow: /monrepertoirecache/

Pour un répertoire existant physiquement sur le serveur, no problem...

Maintenant, dans le cas d'utilisation d'un CMS qui permet l'utilisation de la ré-écriture d'URL, si j'ai un truc du genre

http://www.monsite.com/monrepertoirecache/

Comment le robot va t-il interpréter ce répertoire qui en fait n'existe que grâce au .htaccess ?

Par quel moyen puis-je protéger cette partie du site ?

Merci !

[Remi]

A mon avis, il n'y a aucun problème :

Un robot ne s'occupe pas de savoir si le répertoire existe physiquement ou pas, il accède à des urls et avec robots.txt, on lui dit dit simplement "ne va pas lire les urls qui commencent par..."

[davidm]

Ok merci, mais entre temps mon petit cerveau a réussi à suffisamment chauffer pour se souvenir de ça :

<META NAME="ROBOTS" CONTENT="NOINDEX">

Si je met ça dans le template de la page en question, ça doit marcher, non ?

[Jeanluc]

Ce n'est pas la même chose.

Avec robots.txt, tu dis aux robots de ne pas venir lire certaines pages. S'ils ne viennent pas lire la page, ils ne dévorent pas ta bande passante pour rien et il y a peu de chance qu'ils indexent la page.

Avec la META, il faut bien que les robots viennent lire la page pour voir qu'elle contient la META qui leur interdit de l'indexer. Donc, en général, à éviter (question d'efficacité).

Jean-Luc

[davidm]

OK merci pour la précision