Eviter les robots à certaines heures

[cyberlaura]

Bonjour à tous,

j'ai actuellement un souci sur mon serveur, à savoir qu'il est très visité à certaines heures, et qu'il se met à ramer. Cela irait encore si certains robots ne venaient pas aux mêmes heures pour récupérer 3 pages à la seconde. D'où ma question : est-il possible d'interdire les robots à ces heures là, sans que cela ne les empêche de revenir plus tard ? Quelqu'un a t-il déjà eu ce problème et surtout la solution ?

Merci de vos éventuelles réponses....

[binarygirl]

Pour ce qui est de Googlebot il y a moyen de paramétrer la fréquence des visites via webmaster tools. L'heure je ne crois pas mais ça peut déjà aider dans un premier temps.

[cyberlaura]

Merci pour la réponse, je vais de ce pas voir ce qu'il est possible d'en faire

en l'occurrence, j'ai un problème avec yahoo slurp plutôt, et je me demandais si le fait de modifier dynamiquement (avec le cron) le fichier robots.txt pour interdire slurp de 16h à 22h pouvait être une bonne solution. Ou bien si cela pouvait s'avérer risqué pour l'indexation de mes pages et donc mon référencement ?

[Jeanluc]

J'ai un site que Yahoo! Slurp visitait frénétiquement sans m'amener de visiteurs. J'ai interdit la visite d'une grande partie du site à Slurp. Cela a bien réduit les gaspillages de bande passante et j'ai toujours autant de visiteurs...

Jean-Luc

[cyberlaura]

C'est clair qu'il ne m'amène que 1 à 2 % de mes visiteurs. Mais c'est plus fort que moi, j'aurai du mal à me couper d'une partie de mes visites, et rien n'est eternel : yahoo pourrait passer devant google dans les 6 mois qui viennent