Aller au contenu

Webmasterworld se désindexe des moteurs


Jan

Sujets conseillés

Bonjour,

L'info est étonnante! http://www.webmasterworld.com/robots.txt

Brett Tabke, l'admin de wmw annonce la mise en place de ce robots.txt qui bloque l'indexation du site sous le titre :"lets try this for a month or three...": http://www.webmasterworld.com/forum9/9593.htm

Ca n'a pas trainé: wmw n'est déjà plus dans google: http://www.google.com/search?hl=fr&q=site%...erworld.com&lr=

J'ai beau chercher je ne vois pas ce qui peut le motiver à se tirer une telle balle dans le pied. Un instinct suicidaire?

Dan tu essayes quand avec le Hub?

Lien vers le commentaire
Partager sur d’autres sites

Perso j'aurais tendance à dire que pour un site un peu "successful" la charge induite par les crawls est loin d'être négligeable.

Quand on voit que sur le Hub j'ai eu des pointes régulières entre 60 et 70 000 passages de Googlebot par jour durant ces 30 derniers jours, et que Yahoo! crawle environ 300 000 pages par mois on arrive à mieux voir la charge que cela représente.

Sans crawl, je pouvais rester à l'ancien serveur sans souci. Mais ce sont les pages vues par les robots qui ont forcé principalement ce changement de serveur.

Lien vers le commentaire
Partager sur d’autres sites

Ca n'a pas trainé: wmw n'est déjà plus dans google: http://www.google.com/search?hl=fr&q=site%...erworld.com&lr=

Je pense que, si le site a complètement disparu de Google, ils ont aussi dû le désincrire avec l'interface de suppression d'URL. A mon avis, il n'est pas possible d'obtenir ce résultat uniquement avec le robots.txt.

En quelque sorte, ils se sont fait blacklister volontairement :fou:

Jean-Luc

Lien vers le commentaire
Partager sur d’autres sites

Perso j'aurais tendance à dire que pour un site un peu "successful" la charge induite par les crawls est loin d'être négligeable.

Quand on voit que sur le Hub j'ai eu des pointes régulières entre 60 et 70 000 passages de Googlebot par jour durant ces 30 derniers jours, et que Yahoo! crawle environ 300 000 pages par mois on arrive à mieux voir la charge que cela représente.

Sans crawl, je pouvais rester à l'ancien serveur sans souci. Mais ce sont les pages vues par les robots qui ont forcé principalement ce changement de serveur.

<{POST_SNAPBACK}>

La rançon du succès ? Devenir très (trop ?) connu amène à investir (pour le hub) afin de garantir un même service de qualité...

Le HUB = une entreprise ? :whistling:

xpatval

Lien vers le commentaire
Partager sur d’autres sites

Je pense que, si le site a complètement disparu de Google, ils ont aussi dû le désincrire avec l'interface de suppression d'URL. A mon avis, il n'est pas possible d'obtenir ce résultat uniquement avec le robots.txt.

<{POST_SNAPBACK}>

Je pense aussi. Mais dans ce cas, ce n'est pas 1 ou 3 mois que va durer l'essai, mais au moins 6 mois, délai minimum que google met à réintégrer les sites supprimés par l'interface.

Lien vers le commentaire
Partager sur d’autres sites

Perso j'aurais tendance à dire que pour un site un peu "successful" la charge induite par les crawls est loin d'être négligeable.

<{POST_SNAPBACK}>

je suis assez de cet avis ... d'ailleurs WMW a t'il encore besoin de Google ? le monde du référencement est suffisament restraint pour que le bouche à oreille suffise (surtout sur la cible recherchée) ... dans ces conditions pourquoi consommer de la bande passante inutilement ...

PS : peut être se sont ils rendu compte que le cloaking destiné à Googlebot est trop utilisé par les webmasters "radins" ... :whistling:

Modifié par cendrillon
Lien vers le commentaire
Partager sur d’autres sites

PS : peut être se sont ils rendu compte que le cloaking destiné à Googlebot est trop utilisé par les webmasters "radins" ... :whistling:

<{POST_SNAPBACK}>

Ce n'est pas une question d'argent. Contrairement à une idée communément répandue, l'accès à wmw est gratuit, à l'exception de quelques salons (payants). Il nécessite juste d'être inscrit, ou comme tu le dis de faker l'user agent d'un bot ;) Cette possibilité de "decloaking" va peut-être effectivement disparaitre.

Lien vers le commentaire
Partager sur d’autres sites

C'est une explication, mais ça me parait tout de même fou.

Peut-être veut-il tester l'indexation et le positionnement par Google d'un site nouveau mais ultra populaire ? et i.e. la sandbox et le trusrank ??? :unsure:

Lien vers le commentaire
Partager sur d’autres sites

Ou... Serait-ce un choix... tactique ??

En interdisant l'accès de son forum aux bots, il se retrouve avec... des milliers de BL vers son forum, sans en émettre un seul vers l'extérieur.

On verra de toute facon, bientôt ce que peut donner ce genre d'initiatives :)

# Please, we do NOT allow nonauthorized robots any longer.

Après réflexions.. S'il sait exactement que google ne passe pas sur son forum, d'autre part, il va savoir qui se cache derrière son UA customisé, pour lire le forum inaccessible ?

Autrement dit, ceux qui changent leurs user agent pour lire le forum risquent de se faire repérer rapidement, puisque google ne passe plus.

Lien vers le commentaire
Partager sur d’autres sites

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...