Nombre de pages indexees

[Guest mahi]

Bonjour,

il y a 2 ans je cherchais un annuaire de lien neutre et j'avais aperçu sur le site de free qu'il avait installé le script dmoz. j'ai donc fait la même chose, seulement voila maintenant je me retrouve avec 1 milion de pages dynamiques référencées (600 000 il y a 1 mois) et en moyenne un crawl de 10000 à 20000 pages par jour. Jusqu'ou cela peut il aller. Dois-je mettre un fichier robot.txt pour empêcher ce crawl.

merci de vos conseils.

Modifié 27 Avril 2006 par mahi

[kot]

Je ne comprends pas ta question, alors j'aimerai enrichir mes connaissances:

c'est quoi le "script dmoz"

Le site avec 10000 pages par jour crawlée, c'est ton site en signature?

[Guest mahi]

salut,

c'est un script qui te permet d'afficher cet annuaire

http://dmoz.fr/

[Régis]

(...) c'est quoi le "script dmoz" (..)

Bonjour "kot",

Voici une page qui pourra probablement t'éclairer : Comment obtenir les données de l'ODP ? (Open Directory Projecct (DMOZ))

[Jan]

Bonjour,

Tout dépend de ton hébergement. Il faut qu'il soit dimensionné en fonction de ton trafic. Pas seulement du crawl des robots, mais aussi du trafic des visiteurs, qui - je l'espère pour toi - est plus important que celui des bots

Ceci dit, il faut parfois être sélectif à l'égard des robots. Il y en a des "bons" (ceux de google, msn, yahoo et quelques autres outils de recherche) et certains autres qui abusent de ta bande passante sans t'apporter un seul visiteur, voire pour aspirer tes pages.

Une fois les robots nuisibles identifiés, tu peux les bannir par .htaccess: http://www.webmaster-hub.com/publication/article5.html

[Guest mahi]

merci jan pour l'info mais c'est justement ces bons robots qui indexent.