Aller au contenu

robot.txt et cas particuliers


Sujets conseillés

Bonjour,

Un petit nouveau de plus sur le Hub.

je connais ce forum depuis longtemps, mais je n'ai jamais eu l'occasion de m'inscrire et de poster, car toutes les réponses à mes questions étaient déjà proposées.

Mais aujourd'hui j'ai une question sur les fichier "robots.txt". Ces fichiers qui permettent de ne pas indexer des documents ou des répertoires me posent aujourd'hui problème.

En effet, je souhaiterais indexer un répertoire se trouvant dans un répertoire non indexable.

explications : Un répertoire nommé "mag" du site contient en lui-même un "minisite" que je ne souhaite pas voir indexé. Cependant, ce répertoire contient un répertoire nommé "media" ou des documents pdf sont produits et je souhaite les indexer.

Je recherche une parade sur mon fichier robots.txt afin d'arriver à indexer ce répertoire "media".

En l'état, d'après mes connaissances si je précises aux robots de ne pas indexer le répertoire "mag" il n'y aura pas de possibilité d'indexer le répertoire enfant "media".

User-agent: * # ici tous les robots

Disallow: /mag/ # on interdit l'accès et l'indexation de "mag"

Si vous connaissez un paramètre ou une variable pour parvenir à l'indexation du répertoire "media" sans avoir besoin de créer une copie de celui-ci dans un répertoire"indexable" merci de me le faire savoir.

Modifié par dreddy
Lien vers le commentaire
Partager sur d’autres sites

Salut et bienvenue sur le hub;

Et si vous précisez sur le robots.txt les lien que tu ne voulé pas indexer en mettant tout les liens au lieu de repertoire ?

Lien vers le commentaire
Partager sur d’autres sites

j'y est pensé, mais le problème est que le "ministe" est dynamique, un zone de travail en gros et cela serait très lourd à gérer dans le robots.txt.

Merci pour ta réponse ;)

Lien vers le commentaire
Partager sur d’autres sites

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...