fichier robots.txt

[cbastien]

hello,

j'ai placé le fichier robots.txt sur plusieurs de mes sites pensant avoir fait le bon choix dans son contenu. Mais après plusieurs mois, il n'apparaissait que l'url de mes sites dans les moteurs et pas de titre et de descriptif.

j'ai donc pris renseignements sur le net pour la composition du fichier robots.txt et je me suis aperçu que j'indiquai aux moteurs de ne pas indexé mes sites et de ne pas revenir.

# Allow all
User-agent:  *
Disallow: /

j'ai donc supprimé ce fichier car il m'a mis dans le m....

j'ai donc resoumis mes sites dans les moteurs et créé des liens de sites en sites pour indiqué aux moteurs d'y aller.

mais je me demande s'ils vont bien revenir car cela fait maitenant quasiment une semaine et rien de changer dans les moteurs. Votre avis la dessus ?

[Jeff]

Salut cbastien,

Tout devrait rentrer dans l'ordre d'ici quelque temps, une semaine c'est peut être un peu court : D'ici un mois ton site devrait être à nouveau parcouru par les moteurs de recherche.

Je te conseille tout de même de remettre ton fichier robots.txt avec le bon code

User-agent: *
Disallow:

Jeff,

[cbastien]

merci

mais apparemment que le fichier robots.txt indique que tout est premis ou qu'il n'existe pas, c'est la même chose, non ?

[Jeff]

En premier lieu, un moteur de recherche vérifie la présence du fichier robots.txt, alors pourquoi ne pas lui donner ce qu'il cherche

Même si le fichier n'existe pas il prendra par defaut: "Disallow:" (enfin je n'ai jamais vu de cas contraire).

Jeff,

[cbastien]

j'ai repris mes sauvegardes et je m'aperçois que mon fichier robots.txt était bon !!! clap

mais plusieurs de mes sites n'ont que leur url dans Google, pas de titre, ni de description et pas d'autres pages !!!! je pensais au fichier robots.txt mais apparemment c'est pas lui, d'ou cela peut venir ??

sachant que j'ai mis tous les métas nécessaires et mes pages contiennent du texte

merci de votre aide

[Jeff]

Si tu nous donnais une URL ou un exemple on pourrait y voir plus clair

Jeff,

[cbastien]

www.camping-loire.fr par exemple

[Remi]

Celui-ci, c'est normal, il n'est pas accessible...

Edit: Erreur, maintenant, il l'est...

Modifié 19 Mai 2005 par Remi

[cbastien]

ben non, moi j'y accède avec EI et Firefox sans aucun problème

[Remi]

C'est marrant, quand on regarde le source de ta page, on a l'impression qu'il s'agit du source d'une autre page...

Tu as eu la main un peu lourde...

A part cela, rien vu de particulier qui empêcherait l'indexation.

[cbastien]

oui effectivement, car ce que je fais en plus des trucs standards pour l'optimisation du référencement et de créer un calque (et/ou rajouter un <noscript>) pour y mettre des tags <h1>, <h2> et <h3> ainsi que du texte et quelques liens

ce calque est d'ailleurs visible mais avec une origine négative comme çà, çà ne se voit pas

c'est une bonne idée çà, non ?

[Dan]

c'est une bonne idée çà, non ?

Tu n'es pas le premier... espérons que cela ne te fasse pas dégager de l'index car Google détecte cela bien sûr

Dan

[Anonymus]

1/ non, c'est peut être cela qui empeche l'indexation,

2/ Effectivement, tu as exactement le meme site que dugny.fr. Coincidence ou pas, toujours est il que cela s'appelle du 'duplicate content', autrement dit de la duplication de contenu, et a pour effet la désindexation du site, ou tout du moins sa non indexation.

Ca explique, en tout cas, que tu n'aies que 'pages similaires' dans google.

Mais au fait, tu en as combien, des sites répondant aux mêmes pages ?

=> http://www.camping-de-dugny.fr/index2.htm

=> http://www.camping-loire.fr/

=> http://www.dugny.fr

?

Le principe n'est pas de 'squatter' toutes les pages de l'index de google

Anonymus.

[cbastien]

non bien sur, il y a effectivement 3 noms de domaine pour une seul vrai site.

oublions dugny.fr (frame de redirection non valable, généré en auto par OVH)

c'est parce que le client souhaite ciblé le groupe de mots "camping loire" c'est pour cela que le domaine a été déposé

celui-ci contient ses propres pages, du moins les 2 premières de chaque langues pour ensuite être redirigé vers les pages du vrai site

je pensais donc en faisant cela, augmenter mes chances sur le groupe de mots, de choisir d'autres mots clés et description afin de resortir dans le GG avec d'autres recherches que ceux du site principal

comment faire autrement alors ?

pour qu'un site soit référencé sur un groupe de mots et ensuite sur un autre groupe ? je pensais que la solution était un domaine différent

merci de m'éclairer