Aller au contenu

Robotstats & Cie


Guest pirw3t

Sujets conseillés

Bonsoir à tous ,

Etant donné que le forum que WRI et fermé pour les fêtes, je me permet de poser ma question ici.

Quels sont les "bon" concurents de Robotstats ?

Le fameux script qui permet d'analiser les mouvements des crawlers sur votre site.

Ca me serait bien utile mais malheuresement , ca marche pas :!:

Merci à tous ++ ( et bonne année )

Lien vers le commentaire
Partager sur d’autres sites

Bonsoir !

A ma connaissance, il n'en existe pas, du moins de concurrent direct.

Ceci dit, il existe une multitude de scripts PHP ou autres qui font plus ou moins bien la même chose.

Si tu as des compètences en dev, l'idéal serait carrément de te coder ton propre script de tracking des robots avec les fonctions exactes des infos que tu souhaites.

En ayant les IPs des robots + leur user-agent, variable trés facilement récupérable avec n'importe quel langage de programmation ou de scripts, tu peux réaliser un script qui énumère toutes ces infos !

Lien vers le commentaire
Partager sur d’autres sites

Merci de ta réponse,

Je ne suis pas fan de la programmation en général sauf quelques bidouillages php.

En fait un simple script qui me permétré d'analiser toute les pages vu par le robot pour un jour donné.

Je dit "le robot" car ma priorité est googlebot.

Merci

Lien vers le commentaire
Partager sur d’autres sites

Si ca peut t'aider :

User-Agent : Googlebot/2.1 (+http://www.googlebot.com/bot.html)

Ip à tracker : 64.68.82.* et 216.239.46.*

Pour avoir l'url de la page visitée, tu dois concatener l'url de ton site et l'uri de la page visitée (le GET / dans tes logs).

En réalisant un bout de code qui récupère ces lignes dans tes logs serveurs, tu auras tout ce que tu veux sur GoogleBot :D

Modifié par Siddartha
Lien vers le commentaire
Partager sur d’autres sites

Je me répete mais je ne suis pas du tout doué pour la programmation.

Je cherché juste à savoir quel outils je doit utilisé ;)

Merci bcp quand même :up:

Lien vers le commentaire
Partager sur d’autres sites

Salut pirw3t et bienvenue a bord !

La meilleure manière de tecer le passage des robots est encore par l'analyse des logs bruts apache, si tu as accès à ces derniers.

Par contre, tu dis que Robostats ne fonctionne pas chez toi, ce qui me surprend.

Ce programme est plutôt facile a configurer et ne devrait pas poser de problème particulier pour sa mise en place. Il suppose néanmoins php et mysql qui sont indispensables.

De même, l'inclusion du code permettant de tracer les robots est en php et ne permet pas de les tracer sur des pages .html pures (sauf si ton hébergeur te permet d'utiliser une directive AddType dans le .htaccess, ce que tous ne permettent pas)

Si tu nous donnais les erreurs que tu rencontres, on pourrait sûrement t'aider à le faire fonctionner ?

Dan

Lien vers le commentaire
Partager sur d’autres sites

Merci,

Quand je l'installe tous à l'air de marcher, mais il ne me detecte pas le passages des robots, meme du robot test, pourtant aucune erreur aparente.

Comme c'est un portail phpbb ( voir signature ) j'ai essayer de mettre le code dans l'overal_footer.php pour qu'il s'affiche dans toutes les pages.

Et puit, sur leur forum il y a pas mal de post avec des hack/update pour que ca marche mais ca change rien, je prefere donc attendre la prochaine version qui devrait se révéler stable.

Celà pourré venir du fait que mon phpbb est url rewrité ?

( ps : je n'ai pas acces au log apache, juste awtstas ).

Merci beaucoup.

Lien vers le commentaire
Partager sur d’autres sites

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...