Version complète: sur le forum Webmaster Hub : Erreur Google : Impossible d'atteindre le fichier robots.txt
Webmaster Hub > Promotion de Sites Internet > Techniques de Référencement
lemoussel
lundi 27 octobre 2008 à 18:49
Bonjour,

Jusqu'à début Octobre mon site : http://www.ville-arnieressuriton.com/ était indexé régulièrement par Google et tout se passait bien.

Et là depuis environ 2 semaines GG n'indexe plus mon site
En effet dans Google Outil pour Webmaster j'ai le message d'erreur suivant :

CITATION
Réseau inaccessible: Impossible d'atteindre robots.txt
Nous n'avons pas été en mesure d'explorer votre sitemap. En effet,
nous avons trouvé un fichier robots.txt à la racine de votre site mais
nous n'avons pas pu le télécharger. Assurez-vous qu'il est accessible
ou supprimez-le complètement.

J'ai essayé à plusieurs reprises de resoumettre le Sitemap, je récupère toujours cette erreur.

Pourtant d'autres robots accèdent sans anomalie au fichier robots.txt. Voici un extrait de la log :
CODE

74.6.18.215 - - [25/Oct/2008:16:56:55 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
207.241.229.167 - - [25/Oct/2008:16:55:04 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "ia_archiver-web.archive.org"
38.108.180.52 - - [25/Oct/2008:18:32:30 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "Mozilla/5.0 (compatible; ScoutJet; +http://www.scoutjet.com/)"
64.158.138.84 - - [25/Oct/2008:19:03:56 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "BlogPulseLive (support_AT_blogpulse.com)"
174.36.200.242 - - [25/Oct/2008:19:19:48 +0200] "GET /robots.txt HTTP/1.1" 200 468 "-" "Browsershots"
67.202.35.13 - - [26/Oct/2008:02:52:00 +0200] "GET /robots.txt HTTP/1.0" 200 468 "-" "ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler_AT_alexa.com)"
209.131.41.48 - - [26/Oct/2008:06:17:10 +0100] "GET /robots.txt HTTP/1.0" 200 468 "-" "YahooFeedSeeker/2.0 (compatible; Mozilla 4.0; MSIE 5.5; http://publisher.yahoo.com/rssguide)"


J'ai même refait une soumission en supprimant ce fichier robots.txt et j'ai la même erreur. Va comprendre mad2.gif
Et depuis cet incident Google a stoppé l'indexation de mon site... evil.gif

Je suis donc dans une impasse car je ne vois pas le pourquoi de ce message d'erreur de GG. Je ne sais donc plus quoi faire...

Le fichier robots.txt :
http://www.ville-arnieressuriton.com/robots.txt

Le fichier sitemap.xml :
http://www.ville-arnieressuriton.com/sitemap.xml

Merci de votre aide.
Dan
lundi 27 octobre 2008 à 18:54
Je vois que ta version d'Apache a mod_bandwidth installé.
Es-tu sûr que Google ne soit pas tombé dans le trou pour excès de bande passante utilisée ?
lemoussel
mardi 28 octobre 2008 à 06:35
Tiends donc, bien Vu hypocrite.gif

Mais avant que je me rapproche de mon hébergeur, comment puis je savoir si Google est tombé ou pas dans le trou pour excès de bande passante utilisée ?

Dan
mardi 28 octobre 2008 à 11:25
Tu dois avoir les logs de mod_bandwidth ...
lemoussel
mardi 28 octobre 2008 à 16:23
En fouinant dans le répertoire /tmp je n'ai rien trouvé.
Sinon j'ai aussi regardé dans l'interface CPanel mais je n'ai rien trouvé non plus. sad.gif
Dan
mercredi 29 octobre 2008 à 11:56
Cela devrait se trouver dans /var/log ou /var/log/httpd ...
lemoussel
mercredi 29 octobre 2008 à 12:07
Mais malheureusement je n'ai pas accé a ce type de répertoires via FTP via mon hébergement

Je pense que je n'ai donc plus qu'a voir avec mon hébergeur.


Dan
mercredi 29 octobre 2008 à 16:05
Regarde toujours dans tes logs Apache. Peut-être qu'ils n'ont pas scindé les logs de mod_bandwidth.
lemoussel
mercredi 29 octobre 2008 à 17:15
Euh ..... blush.gif Et comment je peux les regarder les logs Apache ?


Car sous Cpanel, j'ai
Log des erreurs : pas de trace.
Log des accés : rien, pas de trace GoogleBot, cela est peut etre normal si bloqué en amont avec mod_bandwidth.

lemoussel
samedi 1 novembre 2008 à 17:58
Pb résolu. Cela étatit une anomalie du mod security d’apache chez l'hébergeur rolleyes.gif
Ceci est une version "bas débit" de notre forum. Pour voir la version complète avec plus d'information, la mise en page et les images, veuillez cliquer ici.