Google et robots.txt

[davidcaste]

Bonjour,

il m'arrive un truc bizarre avec Google.

Hier je mets en ligne un site, et l'enregistre sur Google webmasters Tools...

Là Google me trouve un robots.txt contenant

User-agent: *

Disallow: /

Donc problème dans la mesure où je souhaite que le site soit indexé et surtout que je n'ai pas (encore) mis de robots.txt. j'ai bien vérifié, ce fichier n'existait pas...

Du coup ni une ni deux je mets un robots.txt qui va bien, avec les interdictions qu'il faut sur les repertoires à ne pas indexer...

Mais en attendant, Google n'a toujours pas trouvé ce fichier et continue de me renvoyer ce fichier imaginaire...

Avez vous déjà rencontré ce problème ?

merci d'avance de vos lumières

[Régis]

Bonjour 'davidcaste',

(...) Avez vous déjà rencontré ce problème ? (...)

Pour autant que cela en soit un, je n'ai jamais eu ce problème.

Es-tu sûr que ce n'est pas la présentation "par défaut" de la rubrique "Accès du robot d'exploration" de GWT ?

[davidcaste]

Régis,

j'ai vérifié, par défaut le contenu affiché du robots.txt sur GWT est vide..

Edited July 15, 2009 by davidcaste

[Régis]

Ah... Ok, merci. Je ne me souvenais pas comment se présentait, par défaut, GWT : tout mes sites ont un robots.txt.

Attendons l'avis d'autres utilisateurs...

[Le-juge]

N'y aurait il pas un set up particulier du cote de l'hebergeur? Un truc par defaut que tu aurais oublie de checker?

[Jeanluc]

merci d'avance de vos lumières

Il y aurait peut-être plus de lumière avec l'adresse du site.

Jean-Luc