Urban

Tous mes site on eu droit à leur full crawl depuis moins de 15 jours.

Oui c'est bien l'aspi de msie, mais c'est normal qu'il ré-aspire tous les jours les sites dans leur totalité ? C'était surtout la le sens de ma question. Effectivement s'il continu tous les jours, je le bloquerais

Ceci n'est pas exactement un problème de référencement, mais de crawler. Depuis quelques jours, j'ai un internaute qui crawl certains sites chaque jour dans leur totalité avec l'user agent :

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Wanadoo 6.7; .NET CLR 1.1.4322; MSIECrawler)

Je pense qu'il a choisi de rendre dispo offline les sites en question. Es-ce un fonctionement normal ? Chaque fois qu'il se connecte il crawl la totalité des sites ?

Avez vous eu ce genre de problème ? Qu'avez-vous fait ? Rien ? Rewritecond sur l'UA ? robots.txt (j'ai cru comprendre que ce crawler respectait robots.txt) ?

Le pire c'est que la redirection vers amazon est basée sur le referer et les mots clefs google, si on arrive sur le lien d'une autre façon, il faut fait pas de redirection.

Edit: Enfin il en fait une, mais vers la racine du site

Ok, et puis depuis que je me suis posé la question j'ai aussi pensé à la génération des barres de pagerank qui elles ne peuvent être faites que par le hub.

Et même si tu utilises l'outil du HUb, pense que les IPs sont différentes entre celle du serveur du Hub et celle de ta freebox. Donc google.com peut varier entre l'utilisation en local et l'utilisatin par l'outil.

Dan

<{POST_SNAPBACK}>

Je n'ai pas regardé comment c'était fichu, mais ce n'est pas le navigateur qui génère la resolution de google.fr lorsque que l'on utilise les outils du hub ? Je pensais que c'était juste une requete vers google.fr dans une iframe.

Pour essayer de te répondre Calimero (c'est là qu'on va voir si j'ai bien integré les leçons..hum...) le google.fr des outils du hub, te redirige , vers ton google.fr à toi du moment d'ou les similarités de résultats.. enfin c'est ce que je pense

<{POST_SNAPBACK}>

Ben forcement, puisque google.fr n'est pas un datacenter quand ton navigateur l'a résolu une fois et que tu vas sur le hub, tu obtiens les mêmes résultats.

Quant aux liens précédents, c'est l'ANNUAIRE Yahoo et non le moteur.

(l'équivalent Google de cet annuaire est Dmoz.org si tu veux t'y inscrire aussi)

<{POST_SNAPBACK}>

Ca ne fait pas plus d'un an qu'il n'est plus mis à jour ?

Ce n'est peut être pas exactement le même sujet, mais je viens de me rendre compte d'un truc. J'ai un site recent (lancé il y a quelques mois entre le dernier et l'avant dernier update de pr). Je n'ai mis mon outil de stats que depuis une semaine sur ce site. Il n'est crawlé que par "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Voici la solution :

http://www.dotclear.net/trac/wiki/DotClear.../DotClearRacine

Certain plugins comme la galerie demandent de rajouter des règles de rewriting, il me semble l'avoir déjà communiqué sur le hub sur un vieux sujet.

En fait il me semble qu'au départ, un underscore suivit d'un mot clef inconnu dans l'attribut target ouvrait une nouvelle fenêtre (c'est probablement encore vrai aujourd'hui). Sûrement que l'utilisation de _blank plutôt que _toto est devenu une mode.

Javascript est un langage client et ne peut donc pas scruter un répertoire serveur.

La mise à jour du pagerank ne change pas forcement le classement, vu que celui-ci est mis à jour en live. Surtout en ce moment avec Bigdaddy, je crois que l'update index et l'update pagerank est pas mal décorrélé.

Parce que ça évite de gérer des filtres. Mais c'est vrai que le seul spam pénible que j'ai eu depuis que j'utilise dotclear, j'aurais pu m'en débrasser avec des filtres.

J'étais tombé sur spamplemousse mais c'était plus la solution captcha que je cherchais

Merci

J'aimerais savoir s'il existe un plugin dotclear pour éviter les spam dans les commentaires, avec par exemple une vérification visuelle d'un code image ? En ce moment je reçois 4-5 spams par jour. J'ai vu que mcomment permettais de gérer plus facilement les commentaires, mais je n'ai pas trouvé d'antispam.

J'ai l'impression que le plus à jour dans la liste du hub c'est 64.233.167.104

Les autres, il y a un peu de tout et n'importe quoi, même des résultats avant l'ancien update des backlinks.

Pour l'instant, il n'y a pas eu d'annonce consernant une éventuelle mise à jour du PR dans les semaines à venir...

Je pense que tu devrais attendre la mise à jour google, la commande site: donne ta homepage en permier, donc si tu as fait des modifs depuis le dernier update google, par exemple en ajoutant le lien vers la homepage, sur chaque page de ton forum, ça a du porter ses fruits.

Cela dit pour être un peu plus positif, c'est vrai que l'interface est sympa et novatrice, donc avec un index à jour et beaucoup de marketing, pourquoi pas

J'ajoute que les versions en cache dans Big daddy par les liens "en cache" proposés par Google  ne montrent pas forcément la version "vraiment" prise en compte par ces data centers. On le constate en testant la présence de mots récemment ajoutés dans les pages. Ils ne sont pas dans les versions "en cache" présentées par Google et pourtant, les pages sortent dans les recherches sur ces mots. Ce qui ajoute à la confusion ambiante.

<{POST_SNAPBACK}>

De ce que j'ai remarqué, il y a parfois 2 semaines d'écart entre la version en cache et la version prise en compte dans l'index.

Consernant exalead, faudrait peut être qu'ils fassent un peu de ménage dans leur index et qu'ils crawlent un peu plus... Pour une requête donnée, mon site sort avec son ancienne adresse sur la première page, et quand j'utilise la commande site: sur cette adresse, ça me sort des pages de 2002-2003 qui ne sont plus en ligne depuis plus de 2 ans. Entre manger au fast food et manger un truc périmé depuis plus de 2ans, si c'est les deux seuls choix que l'on me propose, j'ai vite choisi

La table que tu n'as pas réinjectée est utilisée par le moteur de recherche de phpbb. Cela signifie que les recherches effectuées sur le forum ne trouverons jamais les anciens messages. Par contre pour ceux posté depuis ton import ça sera ok.

J'ai un site pr3 qui ne sert plus à rien et n'évolue plus depuis pas mal de temps, il a un "futur pr" de 5 depuis 3 ou 4 update

Inversement sur un site en création, je suis monté à "futur pr" 5 pour redescendre a 4 alors qu'il n'y a eu que des ajout de backlink et de pages indexées, et que l'archi du site n'a pas changé.

On ne peut pas conclure grand chose sur ce paramètre, même si des fois ça marche en tant que futur pr, il y a aussi des fois ou ça ne marche pas

C'est pas ton ftp qui génère une connection ftp pour chaque fichier uploadé avec une incrémentation du port source et kaspersky qui prend ça pour un port scan des fois ?