Aller au contenu

robot et *.html


newbie-30

Sujets conseillés

Bonsoir à toutes et à tous,

Je suis en train de mettre en place un site et je m'intéresse tout naturellement à son indexation. Je me demandais si les robots savaient interpréter des url de type "http://www.monsite.com/toto/*.html".

Avec une telle commande, un robot va t'il explorer le répertoire à la recherche des fichiers html qui s'y trouvent ?

Merci d'avance pour vos réponses.

Le newbie

Lien vers le commentaire
Partager sur d’autres sites

Bonsoir à toutes et à tous,

Je suis en train de mettre en place un site et je m'intéresse tout naturellement à son indexation. Je me demandais si les robots savaient interpréter des url de type "http://www.monsite.com/toto/*.html".

Avec une telle commande, un robot va t'il explorer le répertoire à la recherche des fichiers html qui s'y trouvent ?

Merci d'avance pour vos réponses.

Le newbie

Pas plus que le navigateur, ils ne chercheront tous les fichiers, ils ne sont pas devins ces robots :smartass:

En revanche, si tu parles du robots.txt, oui, Google et Yahoo du moins comprennent le *.

Lien vers le commentaire
Partager sur d’autres sites

Pas plus que le navigateur, ils ne chercheront tous les fichiers, ils ne sont pas devins ces robots :smartass:

En revanche, si tu parles du robots.txt, oui, Google et Yahoo du moins comprennent le *.

Heu... c'est fou comme des fois on a l'air couillon... quand on pose une question de naze !!! :blush:

L'avantage c'est que j'avais complètement oublié qu'effectivement je pouvais essayé via le robots.txt.

Merci beaucoup

;)

Lien vers le commentaire
Partager sur d’autres sites

Bonjour newbie-30,

Tu essaie de faire quoi exactement, parce que robots.txt ne sert pas à faire venir des robots, mais seulement à les écarter de certaines URL (et il vaut mieux éviter d'employer * quand c'est possible) ?

Jean-Luc

Lien vers le commentaire
Partager sur d’autres sites

Je voudrais qu'un ensemble de pages Web, non connues à l'avance - cad à la mise en place du site, soit référencé sans que je doive toutes les recencer dans une autre page.

Exemple: Un répertoire contient des pages HTML que je "pose" régulièrement (ces pages contennant bien sûr tous les liens et éléments permettant de les intégrer naturellement pour un visiteur). Ces pages seraient accessibles par exemple via un moteur de recherche interne au site, ce qui faciliterai la maintenance.

Pour le fichier robots.txt, je pensais qu'il y avait aussi une commande allow mais non pas de bol.

Lien vers le commentaire
Partager sur d’autres sites

Il existe bien une command Allow pour robots.txt, mais elle est non standard, comme le *. A éviter si possible. De toute manière, Allow ne permet pas de faire venir les robots plus rapidement.

Pour qu'une page soit indexée, il n'y a qu'une seule bonne solution: avoir des liens vers cette page. Un minimum serait que des liens se trouvent dans un plan du site.

Jean-Luc

Lien vers le commentaire
Partager sur d’autres sites

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...