wadada

Attendre... Tu peux aussi installer Robostats pour voir ce que fait le robot... Mais bon, in fine, il faut... attendre

C'est marrant, c'est le nom de mon site (Web Interdit) ! Mais il n'est pas caché, il par juste de choses diverses par rapport au net...

bon, effectivement, le wget ne pardonne pas... on pensais que c'était plus smart comme méthode, c'est raté

salut nous avons un site de rencontre protégé par un password (donc non indexé par les crawlers). mais nous avons créé une fonctionnalité blog, et, pour une bonne indexation, nous avons mis un lien sur la home vers un annuaire de ces blogs. gogglebot devrait donc crawler cet annuaire, puis tous les blogs correspondants, mais il y reste insensible (après analyse des logs + marqueurs spywords). les adresse de blogs sont sous la forme www.monsite.com/nomdublog, ce qui génère une 404. Nous avons remplacé dans la conf d'apache la 404 d'origine par une page php qui redirige vers le bon blog (/blogs/index.php?blog=nomdublog). pour info, les blogs sont dans un frameset, avec le blog en haut et un bandeau pub en bas. est ce quelqu'un aurait une idée sur ce qui peux bloquer le bot ? (update : j'avais le tag robots encadré par des ' ' au lieu des " " : ça peut être ça ?)