googlebot ignore nos blogs...

[wadada]

salut

nous avons un site de rencontre protégé par un password (donc non indexé par les crawlers).

mais nous avons créé une fonctionnalité blog, et, pour une bonne indexation, nous avons mis un lien sur la home vers un annuaire de ces blogs.

gogglebot devrait donc crawler cet annuaire, puis tous les blogs correspondants, mais il y reste insensible (après analyse des logs + marqueurs spywords).

les adresse de blogs sont sous la forme www.monsite.com/nomdublog, ce qui génère une 404. Nous avons remplacé dans la conf d'apache la 404 d'origine par une page php qui redirige vers le bon blog (/blogs/index.php?blog=nomdublog).

pour info, les blogs sont dans un frameset, avec le blog en haut et un bandeau pub en bas.

est ce quelqu'un aurait une idée sur ce qui peux bloquer le bot ?

(update : j'avais le tag robots encadré par des ' ' au lieu des " " : ça peut être ça ?)

Modifié 23 Août 2005 par wadada

[smile]

Wadada,

A croire que vous le faîtes exprès, en tous les cas c'est la meilleur façon pour ne pas etre indexer.

[TheRec]

En effet... vu Googlebot reçoit le header suivant :

Status: 404 File not found

Il ne va pas indexer cette page... il serait préférable d'envoyer le header suivant (en PHP) :

header("HTTP/1.1 301 Moved Permanently");
header("Location: ".$url);
header("Connection: close");

Modifié 23 Août 2005 par TheRec

[klelugi]

les adresse de blogs sont sous la forme www.monsite.com/nomdublog, ce qui génère une 404. Nous avons remplacé dans la conf d'apache la 404 d'origine par une page php qui redirige vers le bon blog (/blogs/index.php?blog=nomdublog).

Pourquoi ne pas faire tout simplement un rewriting, tu as :

www.monsite.com/nomdublog

qui serait une réécriture de :

www.monsite.com/blogs/index.php?blog=nomdublog

Par contre : le frameset pour les blogs ca ne va pas faciliter le référencement... :/

[wadada]

bon, effectivement, le wget ne pardonne pas...

on pensais que c'était plus smart comme méthode, c'est raté