Aller au contenu

Duplicate content par des répertoires


Sujets conseillés

Bonjour

Je m'apercois qu'un robot cree virtuellement du duplicate en me créant des répertoires à la volée à partir des sites intégrés dans ma base, exemple

du style http://www./Arteco /ingienerie,466,5.html

mon htacess

 
ErrorDocument 404 http://www..com/
Options +FollowSymlinks
RewriteEngine on
RewriteRule ^([^,.]*),([0-9]+)(,([0-9]*))*\.html index.php?cat=$2&p=$4 [L]
RewriteRule ^([0-9]+)-in*\.html$ gestion/in.php?id=$1 [QSA,L]
RewriteRule ^([0-9]+)-in*\.html$ in.php?id=$1 [QSA,L]
RewriteRule ^([0-9]+)*\-in.html$ gestion/in.php?id=$1 [QSA,L]
RewriteRule ^rss/([^-.]+)-([^-.]+)-([^.]+)\.xml$ rss/index.php?flux=$1&cat=$2&name=$3 [QSA,L]
RewriteRule ^([^,.]*)-([0-9]+)*\.html$ p_display.php?id=$2 [QSA,L]
RewriteRule ^([^-.]*)-([0-9]+)*\.html$ index.php?cat=$2 [L]

mon robots.txt

 
User-agent: *
Disallow: /%3F
Disallow: /index.php%3F
Disallow: /install/
Disallow: /admin_netref/
Disallow: /backoffice/
Disallow: /gestion/
Disallow: /ajoutsite.php?cat=
Disallow: /ajoutcat.php?cat=
Disallow: /ajoutsite.php?cat=0
Disallow: /ajoutcat.php?cat=0
Disallow: /p_alpha.php
Disallow: /p_awards.php
Disallow: /p_new.php
Disallow: /p_parten.php
Disallow: /p_best.php

Il est évident que je ne peux pas mettre des interdictions dans mon robots.txt de tous les repertoires crées. Je cherche à interdire ce type de crawl, je n'arrive pas non plus à comprendre par quel chemin passe-t-il ???

Merci si vous avez des solutions n'hesitez pas !

Lien vers le commentaire
Partager sur d’autres sites

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...