Aller au contenu

Definition Crawl Rate sur Google Webmasters Tools


plusdegolf

Sujets conseillés

Ma journée a été rude mais je ne suis pas victime d'hallucinations... Dans ma quète actuelle d'indexation des mes sites, je suis en train de faire un tour sur le suivi de mes sitemaps Google.

J'ai découvert 2 nouveaux liens dans le menu de gauche:

- Enhanced Image Search

- Crawl Rate

Voici une impression d'écran du Crawl rate qui donne les infos suivantes:

- nombre de pages visitées par jour,

- nombre de kilobites téléchargés,

- temps passé à télécharger.

De plus une option permet de dire à Google bot d'indexé plus vite :P

Pourvu que ça marche !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

SUITE DU POSTE:

Je découvre que pour certains de mes sites, l'option "FASTER" n'est pas dispo !!

La partie Enhanced Image Search permet de donner l'autorisation à Google d'associer les images du site avec un de ses fonctions "labeler"

googlesitemap.jpg

Modifié par plusdegolf
Lien vers le commentaire
Partager sur d’autres sites

(...)Je découvre que pour certains de mes sites, l'option "FASTER" n'est pas dispo !! (...)
Bonjour ''plusdegolf'',

Et merci pour l'info :)

Bizarre, moi aussi, l'option " Définir la vitesse d'exploration" => Plus rapide "Une exploration plus rapide nous permet d'explorer votre site rapidement, mais augmente la charge de votre serveur." n'est pas sélectionnable...

Quelqu'un a t-il une explication à ce sujet ? Serai-ce liée à la taille du site ? aux mises à jour du site ? aux passages, peut-être jugé déjà fréquent pour un petit site par GGbot?

Lien vers le commentaire
Partager sur d’autres sites

Bonjour apparement l'option Faster serait uniquement disponible pour les sites qui ont un contenu mise a jour régulièrement enfin ceci n'est qu'une etude sur un petit nombre de site dont je dispose.

En effet Je m'appercois que cette option est uniquement disponible sur mes sites sur lesquels je post 5 nouvelles news par jour. tandis que mes sites statiques (vitrine) ne dispose pas de cette option.

Lien vers le commentaire
Partager sur d’autres sites

Un petit point après 12 heures avec les nouveausx paramètres d'indexation (faster). dans mes logs, les visites de googlebot sont effectivement beaucoup plus importantes. Cependant, la majorité d'entres elles sont sur la partie "HEAD / HTTP/1.1" et assez peu sur les pages de contenu.

Par contre, le bot semble crawler plus en profondeur le site !

A suivre.

Julien

Lien vers le commentaire
Partager sur d’autres sites

J'ai mis "faster" pour le Hub aussi; Je ne crains pas trop parce que le bi-xeon a supporté 2 000 000 de passages le mois dernier.

On verra ce que ça donne en mode 'faster' :)

Qui prend les paris ?

Lien vers le commentaire
Partager sur d’autres sites

Je n'avais pas prêté garde à cette rubrique "Domaine favori" qui peut sûrement éviter du "duplicate content" pour certains...

Peut-être n'est-ce pas nouveau... :hypocrite:

Si les URL www.example.com et example.com pointent vers le même site, vous pouvez nous indiquer ici une méthode d'affichage des URL dans notre index.
  • Afficher les URL de la manière suivante : www.example.com (valable pour les URL de types www.example.com et example.com)
  • Afficher les URL de la manière suivante : example.com (valable pour les URL de types www.example.com et example.com)
  • Ne pas établir d'association

Lien vers le commentaire
Partager sur d’autres sites

Sur pas grand chose, je fait appel a un peu de logique.

Je pense que google doit bien faire connaissance avec le site avant de permettre un passage plus fréquent.

Il faut que le moteur soit convaincu du serieu du site en matière de mise, de disponibilité et de popularité.

Enfin, tu peu me contredire si tu pense que c'est illogique ce que je dis.

Lien vers le commentaire
Partager sur d’autres sites

Ce que dit Google à ce sujet, c'est

If we determine that we are limiting how much we crawl your site (in other words, we would crawl your site more if we felt your server could handle the additional bandwidth), we will let you know this and offer the option for a faster crawl.
que je comprends comme ceci :
Dans les cas où nous avons limité l'exploration de votre site parce que nous avons estimé qu'il y avait un risque que votre serveur ne supporte pas un supplément de trafic, nous proposons l'option d'exploration plus rapide.

En quelque sorte, Googlebot dit "Je veux bien venir plus souvent, mais il faut que vous me le demandiez parce que j'ai un doute sur la capacité de votre serveur à accepter la charge supplémentaire".

Quant à savoir sur quelles bases Google décide qu'il y a un risque que votre serveur ne supporte pas un supplément de trafic,... :?:

Jean-Luc

Lien vers le commentaire
Partager sur d’autres sites

Quant à savoir sur quelles bases Google décide qu'il y a un risque que votre serveur ne supporte pas un supplément de trafic,... :?:

Je vais essayer de me répondre moi-même... :D

Il se pourrait que le critère soit le temps moyen de téléchargement d'une page (dernier tableau du rapport). A vérifier.

Jean-Luc

Lien vers le commentaire
Partager sur d’autres sites

Sur pas grand chose, je fait appel a un peu de logique.

Je pense que google doit bien faire connaissance avec le site avant de permettre un passage plus fréquent.

Il faut que le moteur soit convaincu du serieu du site en matière de mise, de disponibilité et de popularité.

Enfin, tu peu me contredire si tu pense que c'est illogique ce que je dis.

Je ne pense pas que ce soit non plus la bonne raison car mon site est tout récent (indéxé depuis 15 jours), et j'ai pourtant accès à cet outil. Y compris pour le choix de la vitesse de crawl:

google.gif

Lien vers le commentaire
Partager sur d’autres sites

Je pense que cette option doit dépendre de plusieurs facteurs comme le pagerank | Trustrank, et l'ancienneté du site.
Je ne pense pas que ce soit non plus la bonne raison car mon site est tout récent (indéxé depuis 15 jours), et j'ai pourtant accès à cet outil. (...)

A l'opposé, mon site date de 1997... et je n'ai pas accès à cette option...

Lien vers le commentaire
Partager sur d’autres sites

En comparant les données de l'outil Google aux stats que j'obtiens avec Spider-Reporter, je confirme que d'autres visites de robots que celles de Googlebot sont comptabilisées.

Par contre,si j'additionne les visites de Googlebot et celles de Mediapartners, je dépasse de beaucoup les chiffres de l'outil Google...

Peut-être que Google ne compte qu'une seule page vue, pour une même page vue plusieurs fois sur une journée par ses robots ?

Jean-Luc

Lien vers le commentaire
Partager sur d’autres sites

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...