controle passage des robots

[tictact]

je reposte la question de :

2eme tentative  : Avec quel outil controles-tu le passage des robots ?

<{POST_SNAPBACK}>

mais en général avec "quel outil "

qui m'intéresse aussi .

Modifié 1 Mars 2005 par tictact

[Sebastien]

Tous les systemes de statistiques un peu évolué (coté serveur, pas javascript) le permettent, par ex php-stat, ou ceux analysant les fichiers log. Il y a aussi robotstats, en php :

http://www.robotstats.com/

[lambda]

Escuse-moi, tu m'as peut-être posé la question.

Comme sebastien, j'utilise Robostat

Il necessite un hebergement avec une base de donnée MySQL.

Bon courage

Salut

[Marie]

J'utilise Spywords qui ne nécessite aucune installation, seulement une petite image sur les pages à auditer.. Il a plus de fonctions que robostats et est gratuit

[tictact]

bonjour,

quelque chose que je ne comprends :

j'ai installé robotsats et spywords :

depuis le 10 mars, il y a du passage :

spywords a "vu" passer slurp, msnbot, googlebot, depuis le début et ce tous les jours.

slurp a du temps, il passe souvent 3 ou 4 fois par jour, prendre le café chez moi...

robostats n'a vu que alexa qui a fait un coucou le 13 et depuis rien... c'est ce qu'elle (avec un prénom comme ça, c'est sûrement une fille) s'est fait voir chez spywords aussi.

avez-vous une explication ? ou c'est que j'ai mal installé robotstats ?

[xpatval]

Explication ? mauvaise configuration des user-agents, sur robotstat, par exemple ?

Pour ma part, le fromage de robotstat ne me donne qu'un joli 100% GG, alors que d'autres bots passent (visibles dans "pages").

xpatval

[Eclipsis]

Tu peux peut-être regarder directement tes raw logs, là au moins tu seras fixé sur qui passe et qui ne passe pas, même si point de vue clarté, c'est pas vraiment top

[Perrine]

Bonjour,

Tictact, peut-être que la table "moteurs" de Robostats est ancienne et ne contient pas les derniers robots utilisés ?

Ici, une liste de User Agents.

Robostats marche bien mais c'est vrai que la mise à jour des robots est quelque peu contraignante.

[Jan]

Ici, une liste de User Agents.

<{POST_SNAPBACK}>

En détectant les robots sur leurs user-agents, tu risques d'avoir de fausses détections. L'user agent est facile à modifier dans les navigateurs (il existe par exemple un plugin firefox) ou en ligne.

Une détection sur les adresses IP est plus fiable.

[eurisko]

Bonsoir,

A l'attention de Marie

J'ai trouvé, sur ton post , l'URL de spywords.

Le site propose un code en PHP. Je l'ai collé sur ma page mais le marqueur n'est pas trouvé (peut-être faut-il quelques temps...)

Faut-il enregistrer la page en PHP plutôt qu'en HTML?

Dans le code de ta page sorcière, le logo est appelé par un simple lien.

Celui-ci fonctionne-t-il?

Merci

[Perrine]

Merci Jan, je n'avais pas du tout pensé à ce problème en lançant le lien. Qu'utilises-tu toi pour suivre les robots ? Robostats ? Spywords ? Ou une molinette made by Jan ?

@eurisko : il faut attendre que le site de spywords soit mis à jour. Je crois que leur script détecte le marqueur dans la nuit (vers 3H si mes souvenirs sont bons)

[xpatval]

Salut,

Faut-il enregistrer la page en PHP plutôt qu'en HTML?

A partir du moment ou tu as du php dans ta page, celle-ci doit avoir l'extension .php

xpatval.

[lilounec]

Perso j'utilise le script de Search-Engine-Log.Com ... il est tout bete ... faut faire du trie ... mais je le trouve vraiment pas mal

cf: http://www.koloc.org/crawler/