Questions sur le fichier robots.txt

[Pastek de plomb]

Voilà j'ai souscrit à un pack premium de 1and1 et je compte faire plusieurs sites (3-4) sur cet hébergement.

Les redirections de différents domaines peuvent séparer les sites entre eux:

à la racine il y a 3 dossiers importants:

* logs

* test (pour les tests de scripts et autres)

* sites, où sont rangés les sites. Chaque site a son propre dossier.

Chaque domaine redirigeant sur un site redirigera dans le dossier du site. Ainsi il ne redirigeront jamais à la racine d el'hébergement.

Voilà pour l'utilisateur. reste Google.... Comment rendre les sites hermétiques entere eux pour Google.

J'ai pensé à un truc.

1. Interdire aux robots de visiter l'hébergement à la racine de l'hébergement

2. A la "racine" de chaque site, faire un robots.txt dédié.

Qu'en pensez-vous? Est-ce aussi simple?

[Jeanluc]

Bonjour Pastek de plomb et bienvenue,

Tu veux dire que tu as [i]http://www.site-principal.com/, que [i]http://www.site1.com/ fait une redirection vers [i]http://www.site-principal.com/sites/site1/, que [i]http://www.site2.com/ fait une redirection vers [i]http://www.site-principal.com/sites/site2/, etc. ?

Quel est le type de redirection ? L'adresse du site dans la barre d'adresse change-t-elle avec la redirection ?

Jean-Luc

[Pastek de plomb]

C'est exactement ça.

En ce qui concerne l'adresse dans la barre d'adresse, j'ai fait un test avec un domaine de chez gandi:

on tape www.site2.com et on va vers http://456qdurldaubesque.onlinehome.fr/sites/site2

En revanche si le domaine est géré par 1and1 dans le pack (donc $ pour eux) ça donne:

on tape www.site2.com et on va vers www.site2.com

Et maintenant est-ce que ce schéma de robots.txt serait casher pour Google?

[Jeanluc]

D'après ta réponse, 1and1 semble faire une réelle gestion des domaines supplémentaires et pas de redirection (c'est très bien), mais, pour être certain, je préférerais vérifier avec tes adresses réelles.

Si ça se passe comme je le pense, il faudrait mettre un robots.txt à la racine du site principal, donc son adresse serait [i]http://www.site-principal.com/robots.txt et ce robots.txt devrait interdire l'accès au répertoire /sites/, comme ceci :

User-agent: * 
Disallow: /sites/

Cela devrait suffire (mais j'aimerais vérifier avec tes adresses réelles, si possible).

Jean-Luc

[Pastek de plomb]

D'après ta réponse, 1and1 semble faire une réelle gestion des domaines supplémentaires et pas de redirection (c'est très bien), mais, pour être certain, je préférerais vérifier avec tes adresses réelles.

Si ça se passe comme je le pense, il faudrait mettre un robots.txt à la racine du site principal, donc son adresse serait [i]http://www.site-principal.com/robots.txt et ce robots.txt devrait interdire l'accès au répertoire /sites/, comme ceci :

User-agent: * 
Disallow: /sites/

Cela devrait suffire (mais j'aimerais vérifier avec tes adresses réelles, si possible).

Jean-Luc

<{POST_SNAPBACK}>

Mes adresses réelles ne sont pas encore exploitées. Celà dit il y a des pages HTML à la con pour vérifier que tout fonctionne.

Mais il faudra attendre un peu (ce soir ou demain matin) car:

* dans l'immédiat j'ai des trucs à faire

* l'adresse "réelle" est vraiment tordue, il faut que j'aille voir laquelle c'est.

Donc tu compte tester un domaine externe sur cette adresse réelle c'est ça?

Quant au fichier robots.txt voilà ce qu'il faudrait que ça fasse:

* interdire le répertoir racine

* interdire les répertoires sites et test

* ne PAS interdire les répertoires site1 site2 siten

* que chaque site ait son propre robots.txt INDEPENDANT des autres.

Que chaque site soit visité par Google de manière hermétique des autres quoi.

Modifié 10 Janvier 2006 par Pastek de plomb

[Jeanluc]

Celà dit il y a des pages HTML à la con pour vérifier que tout fonctionne.

Pas grave.

Quand tu en as la possibilité, j'aimerais avoir ces deux adresses que j'appelais [i]http://www.site1.com/ et [i]http://www.site-principal.com/sites/site1/.

Jean-Luc