Aller au contenu

Spider Reporter


Sujets conseillés

Bonjour,

Spider Reporter est un logiciel en PHP qui analyse les visites des robots du web.

Qu'est-ce qui est particulier à notre projet ?

- Spider Reporter fonctionne avec un tag invisible ou à partir du fichier log.

- Il permet aussi de définir un Spider Reporter Map, une liste d'URL que l'on veut analyser plus particulièrement (nouvelles pages dont on veut savoir quand elles seront crawlées pour la première fois, pages redirigées pour voir si la redirection est suivie, comparaison du comportement de deux moteurs vis-à-vis des tirets dans les URL,...). Voir la démo : 10 screenshots de Spider Reporter

- aucune augmentation de charge du réseau

- aucune de vos stats n'est transmise à des tiers

- entièrement écrit en PHP

Spider Reporter convient à toutes sortes de sites. Jusqu'à présent, nous l'avons testé avec succès, sur des sites avec plusieurs dizaines milliers de pages visitées par Googlebot par mois.

Actuellement les explications sur l'installation sont assez sommaires. Cela ne posera pas de problème à ceux qui ont déjà installé d'autres programmes de stat, mais cela pourrait gêné des webmasters moins expérimentés. Posez vos questions ici ou via le formulaire de notre site.

Autres fonctions prévues (non encore installées) :

- mise à jour automatique de la liste des robots

- support d'autres formats de fichier log

- forum dédicacé

La version actuelle est une version d'évaluation. Elle est gratuite. On a vraiment besoin de vos avis et critiques.

Jean-Luc

Modifié par Jeanluc
Lien vers le commentaire
Partager sur d’autres sites

Salut Jean-Luc,

Je vois que la version d'évaluation est gratuite mais limitée dans le temps.

Qu'en est-il de la version finale, je n'ai pas vu de tarif en ligne ?

Dan

<HS> Je vois que tu habites mon ancien quartier de Bruxelles... j'ai toujours mon frère qui est Opticien avenue de Busleyden ;)</HS>

Lien vers le commentaire
Partager sur d’autres sites

Posté (modifié)

Cette version gratuite est limitée dans le temps (jusqu'au 30 juin) parce que c'est une version d'évaluation. Cela évitera d'avoir des vieilles versions qui trainent.

Pour la suite, nous maintiendrons une version gratuite (probablement avec pub dans les écrans de statistiques (donc uniquement visibles par le webmaster) et nous introduirons probablement des versions payantes avec des possibilités en plus, mais le "business model" n'est pas encore fixé, loin de là. Donc toutes les suggestions pour atteindre un équilibre entre l'utisateur (qui veut un max de possibilités et un minimum de frais) et les développeurs (qui doivent "monétiser" tout ça pour nourrir leurs familles) sont bienvenues.

Jean-Luc

P.S. il faut venir à Bxl maintenant que le soleil est là. Les serres de Laeken sont ouvertes et elles sont splendides. C'est à quelques centaines de mètres d'ici. B)

Modifié par Jeanluc
Lien vers le commentaire
Partager sur d’autres sites

dès demain, je le mets en place sur un site pour le tester...
Super! J'attends tes commentaires avec impatience.

Jean-Luc

Lien vers le commentaire
Partager sur d’autres sites

Super! J'attends tes commentaires avec impatience.

Hello "Jeanluc",

Je viens d'installer Spider Reporter.

Installation très simple et rapide : en 5/10 minutes (le temps de lire la documentation online). [et je ne suis pas un développeur....]

Il se fait que Yahoo et GG était en train de scanné le site... donc, j'ai pu voir les résultats de suite... Malheureusement, j'avais changé le User Agent de mon FireFox en googlebot en testant le site, donc je n'ai pas su reconnaître les pages lues par mon FireFox GoogleBot et le vrais GoogleBot (oups.... autant pour moi...).

L'ergonomie est super agréable, l'exécution rapide...

Vraiment ! un script à recommander.

Allez, un petit remords : ne pas avoir une documentation (.txt) d'installation fournie avec le script.

Super !

Modifié par gatcweb
Lien vers le commentaire
Partager sur d’autres sites

Hello,

Merci pour tes encouragements. Et content de voir que ça te plait!

Comme tu l'as constaté, l'identification des bots est faite actuellement uniquement sur base du User Agent. L'identification avec les adresses IP pourrait techniquement être ajoutée sans problème. On cherche la meilleure formule possible pour intégrer tout ça à l'avenir.

Pour la doc (page d'installation sur le site), d'accord avec toi. Elle est vraiment en version beta actuellement.

Jean-Luc

Lien vers le commentaire
Partager sur d’autres sites

Posté (modifié)

C'est un peu hors sujet, mais ça montre que Google aime le hub:

- premier lien vers le site placé ici le 4 mai à 9h29

- premier passage de Googlebot le 4 mai à 23h40 (21h40 GMT)

- présent dans l'index dès aujourd'hui !

google_aime_le_hub.png

Et il n'y a pas que Googlebot:

yahoo_msn_et_ichiro_aussi.png

(dans ce tableau, ce sont les heures aux USA où le site est hébergé)

Merci le hub !

Jean-Luc

Modifié par Jeanluc
Lien vers le commentaire
Partager sur d’autres sites

Hello Jean-Luc,

Suggestion de présentation :

Une option me paraît pratique : lorsqu'on sélectionne 1 spider dans le menu déroulant puis dans le menu "Rapport ?" , l'option "dernières visites - fichier log", une liste s'affiche.

A droite, tu as le titre de colonne 1...........31.

Et en dessous les astérisques : soient blanches (=> pas de visite), soient colorées (=> visite).

Si je souhaite savoir quel jour est passé 1 spider sur une page, je dois compter les astérisques : 1, 2, 3... etc

Je me suis fait la remarque qu'il serait bien de mettre 1 séparateur entre les astérisques tout les 7 ou 10 jours. Par exemple : *******|*******|**etc ou **********|**********|**etc. Cela faciliterait le comptage des dates.

Et voilà...

Pour ceux qui ne connaissent pas Spider Reporter et qui souhaitent faire le suivi des spiders, c'est vraiment un script sympa.

Lien vers le commentaire
Partager sur d’autres sites

Suggestion intéressante! Merci.

Une autre solution dans le même sens: au lieu du séparateur que tu proposes, on pourrait afficher les astérisques correspondant aux week-ends sur une autre couleur de fond. On va laisser mûrir un peu, puis implémenter.

Jean-Luc

Lien vers le commentaire
Partager sur d’autres sites

Une autre solution dans le même sens: au lieu du séparateur que tu proposes, on pourrait afficher les astérisques correspondant aux week-ends sur une autre couleur de fond. On va laisser mûrir un peu, puis implémenter.

J'avais pensé, aussi, à un calendrier... mais la mise en place doit être sûrement plus lourde... (pour avoir les données pour un jour précis).

Lien vers le commentaire
Partager sur d’autres sites

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...