inktomisearch et robots.txt

[recherche_webmaster]

Bonjour,

Voilà le problème qui me turlupine :

Quand j'ai lancé mon site, il a été immédiatement indexé par yahoo, avec toutes ses pages. J'ai dû attendre 2 mois pour google (un lien satellite oublié sur un faux blog, on le supprimant mon site a été déblaklisté).

Mes premières visites venaient donc de yahoo.

Depuis j'ai changé l'adresse de toutes mes pages (url Rewriting).

Un mois après, google a supprimé les anciennes urls et a réindexé les nouvelles.

Mais yahoo (inktomisearch donc) n'a pas encore tout supprimé de son index et, c'est ce qui m'embête, bloque systématiquement sur le fichier robot txt (je le vois dans les logs).

yahoo slurp passe des dizaines de fois par jour :

lj1343.inktomisearch.com www.monsite.com - [25/Sep/2005:00:58:12 +0200] "GET /robots.txt HTTP/1.0" 404...

COMMENT DONC faire comprendre à ce stupide robot qu'il doit indexer les nouvelles pages ? (j'ai mis un folow all dans le robots txt, ça n'a rien changé, je l'ai enlevé pareil).

Pour les redirections automatiques je les envoies sur la page d'accueil.

Idem, le robot de msn ne passe plus.

Comment dois-je faire selon vous ? (pas de redirection des anciennes urls vers les nouvelles, j'ai déjà essayé).

Modifié 25 Septembre 2005 par Dan

[Dan]

Bonjour,

Avec l'URL de ton site cela nous aiderait, parce que je me demande ce que tu appelles un "follow all" dans le robots.txt ? Cette syntaxe n'existe pas.

Tu dois donc avoir une erreur qui empêche les robots d'indexer tes pages.

Dan

[yankeebasque]

la solution est assez simple

j'ai rencontré ce probleme avec mon site

reconfigurer le site pour que même un lien qui n'existe +

soit redirigé sur la page index.html automatiquement

voir exemple http://www.marina-club.net/test cette page n'existe pas

http://www.marina-club.net/test777777.html cette page n'existe pas

http://www.marina-club.net/test77777 cette page n'existe pas

http://www.marina-club.net/nexistepas.htm cette page n'existe pas

;java script:emoticon('')

smilie)