Bonjour,
En essayant de lancer un Xenu sur mon site actuel pour faire une cartographie de toutes mes URL, j'ai découvert que le logiciel ne parvenait pas à crawler le site : il reste bloqué sur la home Ca ne me le fait que pour ce site là.
De plus, de temps en temps (rarement) on me dit qu'il est impossible d'accéder à mon site : il renverrait une erreur de dingue (du genre des signes étranges de partout en noir sur fond blanc).
Pire encore, quand je teste une page profonde du type http://www.cuisinetoo.com/recette-de-sandwich-camembert-jambon-fume.html'> http://www.cuisinetoo.com/recette-de-sandwich-camembert-jambon-fume.html
=> Xenu ne donne aucun lien, comme s'il ne voyait pas la page !
Enfin, je viens de tester avec un autre crawler, GsiteCrawler... ça fait pareil!
1- Pourriez vous jeter un oeil pour savoir si ça le fait de chez vous ? URL : http://www.cuisinetoo.com
2- Savez vous pourquoi Xenu & autres crawler pevent bloquer sur la home ?
Le plus fou c'est que Google indexe bien mes pages. Mais p-e qu'il y a un vrai problème et qu'en plus ça limite mon référencement ?
Au niveau du header HTTP j'ai ça :
HTTP/1.1 200 OK Date: Mon, 08 Mar 2010 17:26:06 GMT Server: Apache/2.2.X (OVH) X-Powered-By: PHP/4.4.9 Set-Cookie: deja_venu=1 Cache-Control: max-age=86400, public Expires: Thu, 19 Jan 2012 08:37:33 GMT Vary: Accept-Encoding Content-Type: text/html
Merci