Inktomi, GoogleBot

[Zesty]

42 utilisateur(s) actif(s) durant les 30 dernières minutes ( Administrateur - Modérateur - Partenaire - Membre+ - Robot )

27 invité(s), 15 membre(s) 0 Membre(s) anonyme(s)

Zesty, Marie, Luckyluk, Sebastien, Inktomi, GoogleBot, asterion, Jan, Pixame, Coyote, scarabeuz, rottman, jeff, Anonymus, Nortonus, Mincoin, olive457

Afficher les informations triées suivant: le dernier clic, le nom du membre 

Qu'est qui font la eux (inktomi, GoogleBot) ?

Stéphane

[Marie]

Allez au pif ... ils font leur boulot de robot et indexent les pages du Hub

[Dan]

Zesty,

Les forums (fora) Invision permettent de visualiser le passage des moteurs de recherche, mais principalement les moteurs Americains.

J'ai dès lors modifié les sources, en mettant le code à disposition sur ibf-french.com pour que les moteurs français s'affichent aussi.

Je trouvais sympa de montrer aux membres que les robots s'intéressent à leurs posts

Dan

[Anonymus]

En cliquant sur "Afficher les informations triées suivant: le dernier clic, le nom du membre", tu peux meme savoir quelle page le robot visite.

Et.. soyons francs, comme Dan adore les robots, il n'a pu s'empécher de les mettre de couleur 'rouge'

Anonymus.

[Marie]

Et.. soyons francs, comme Dan adore les robots...

Et les Robotes aussi!

C'est assez incroyable la façon dont Googlebot squatte le Hub, il a vraiment l'air de s'y plaire!

[Dan]

C'est assez incroyable la façon dont Googlebot squatte le Hub, il a vraiment l'air de s'y plaire!

Une partie du trafic de GoogleBot vient de MediaPartners, le robot qui scrute le Hub pour les pages contenant les Adsense ... celui là et le GoogleBot classique se partagent la tâche, et il y a quasi equivalence de visites pour les deux.

Dan

[Zesty]

bon, je m'en douter mais... je croyer que les robots scanner les pages à des vitesses ultra rapide (du style 1 page par 0.001 seconde) en fait ... ils sont lent. enfin, c'est vrai qu'il y a beaucoup de pages sur ce site mais quand même.

et pis c'est vrai que rouge ca attire le regard ... en tout cas, ca fait déjà au moins 1hetdemi que google et inktomi traine sur le hub ... y a même microsoft qui s'en mele, en retard et joue les malins .. y a rien qui change.

un moteur index une page de 50k en combien de temps ? (ca c'est de la question urgente et passionnante)

[Dan]

Salut Zesty,

Le Hub est sur un serveur avec une bande passante garantie acceptant les "bursts" à 100Mbits .... soit 200 fois la vitesse de l'ADSL standard à 512K

Donc dans ce cas, une page de 50K est aspirée par le moteur en quelques millièmes de seconde.

Il faut aussi garder à l'esprit qu'un moteur ne télécharge pas systématiquement toutes les images d'une page, contrairement à un visiteur, ce qui les rend plus légères

Dan

PS: voici ce qu'un moteur voit de cette page

[Anonymus]

Il me semble, mais peut etre que je me trompe, que tu confonds 2 choses :

Les noms que tu vois, dans les statistiques, sont les noms (pseudos) des membres ayant demandé une page du Hub, dans les 30 dernières minutes.

Autrement dit, si un robot ne demande qu'une page, son nom sera affiché pendant 30 minutes.

Ce n'est pas du 'temps réel', comme certains pourraient le penser, ni du 'simultané'.

Anonymus.

[Zesty]

oui, effectivement Anonymus, je n'avais pas fait attention au décalage de 30min. Malgrès tout, ils restent quand même longtemps (enfin inktomi viens de partir, alors que Googlebot reste)

Dan, ok, enfin dans ce cas, pourquoi ils mettent au moins 1 heure à trainer sur le site. Inktomi et rester au moins 1h30 (avec la demi-heure en moins) et google est toujours la. au passage, elle est sympa cette adresse http://www.delorie.com/web/lynxview.cgi?url=.

[Dan]

Zesty,

Parce que les robots sont respectueux des sites et espacent leurs visites pour ne pas imposer une charge trop importante aux serveurs.

Heureusement, car si Google devait lire tout le site à pleine vitesse, il n'y aurait plus assez de ressources réseau pour servir les utilisateurs "normaux" dont tu fais partie

Google demande donc quelques pages à la minute... et nous laisse souffler entretemps.

Dan

[Zesty]

Zesty,

Parce que les robots sont respectueux des sites et espacent leurs visites pour ne pas imposer une charge trop importante aux serveurs.

Heureusement, car si Google devait lire tout le site à pleine vitesse, il n'y aurait plus assez de ressources réseau pour servir les utilisateurs "normaux" dont tu fais partie

Google demande donc quelques pages à la minute... et nous laisse souffler entretemps.

Dan

ok, voila l'explication qui me manquer !

merci de combler ma curiosité Dan !