Version complète: sur le forum Webmaster Hub : Verifier que mon site est "crawlable"
Webmaster Hub > Promotion de Sites Internet > Techniques de Référencement
hcplayer
Bonjour,

Je m'explique, je me suis fait un petit portail perso en utilisant les sessions de phpbb sur cette adresse : http://www.games-arena.net
Il y a bien une session, mais je ne la lance que lorsque le nom d'agent ne correspond pas à un robots, j'en profite pour remercier les gens qui ont participer à ce topic : http://www.webmaster-hub.com/index.php?showtopic=19256 ce qui m'a beaucoup aidé smile.gif

Voila, je vérifie avec le plus vif intérêt depuis avant hier que les robots continue de surfer normalement quand aujourd'hui j'apperçois un truc qui me plait moyen :

Googlebot-adsense : index.php?sid=92f7e22026f03eb6a9965afa91cd1763 (1 hit) parmi d'autres sans variables.

Est-ce une spécificité d'adsense de récupérer les variables d'url d'anciens visiteurs, ou ai-je cafouillé quelque part ? Quoi qu'il en soit est il possible de tester la crawlabilité (ça existe ça? tongue.gif ) de mon site ?

Tant de questions... laugh.gif

Merci de votre attention,
Stephane
Anonymus
google-adsense est le robot google qui vérifie la page, pour y placer les annonces. Il est donc normal qu'il accède au contenu, histoire de savoir quelles annonces il doit y placer. wink.gif
Sebastien
Pour le bot Adsense c'est normal car il visite les urls que tes visiteurs chargent.

Pour juger de la crawlabilité d'un site, tu peux par exemple le visiter avec Firefox + la barre web developer en désactivant javascript et les cookies, ou bien utiliser lynx. Il y a plein de méthodes en fait.
Le-juge
smile.gif

Salut

Y a spider simulator aussi je crois... mais la methode de sebastien est tres bien
yvan02
Pour se faire une idée de toutes les pages qui vont être crawlée, il y a aussi http://www.sitemaps.blocklayer.com/

La liste constituée pour le sitemap est très proche de ce qui va effectivement être crawlé. wink.gif
hcplayer
merci pour vos réponses, (que d'inquiétude), il semble que les robots n'ont pas de problèmes chez moi smile.gif
Ceci est une version "bas débit" de notre forum. Pour voir la version complète avec plus d'information, la mise en page et les images, veuillez cliquer ici.