Je m'apercois qu'un robot cree virtuellement du duplicate en me créant des répertoires à la volée à partir des sites intégrés dans ma base, exemple
du style http://www./Arteco /ingienerie,466,5.html
mon htacess
ErrorDocument 404 http://www..com/ Options +FollowSymlinks RewriteEngine on RewriteRule ^([^,.]*),([0-9]+)(,([0-9]*))*\.html index.php?cat=$2&p=$4 [L] RewriteRule ^([0-9]+)-in*\.html$ gestion/in.php?id=$1 [QSA,L] RewriteRule ^([0-9]+)-in*\.html$ in.php?id=$1 [QSA,L] RewriteRule ^([0-9]+)*\-in.html$ gestion/in.php?id=$1 [QSA,L] RewriteRule ^rss/([^-.]+)-([^-.]+)-([^.]+)\.xml$ rss/index.php?flux=$1&cat=$2&name=$3 [QSA,L] RewriteRule ^([^,.]*)-([0-9]+)*\.html$ p_display.php?id=$2 [QSA,L] RewriteRule ^([^-.]*)-([0-9]+)*\.html$ index.php?cat=$2 [L]
mon robots.txt
User-agent: * Disallow: /%3F Disallow: /index.php%3F Disallow: /install/ Disallow: /admin_netref/ Disallow: /backoffice/ Disallow: /gestion/ Disallow: /ajoutsite.php?cat= Disallow: /ajoutcat.php?cat= Disallow: /ajoutsite.php?cat=0 Disallow: /ajoutcat.php?cat=0 Disallow: /p_alpha.php Disallow: /p_awards.php Disallow: /p_new.php Disallow: /p_parten.php Disallow: /p_best.php
Il est évident que je ne peux pas mettre des interdictions dans mon robots.txt de tous les repertoires crées. Je cherche à interdire ce type de crawl, je n'arrive pas non plus à comprendre par quel chemin passe-t-il ???
Merci si vous avez des solutions n'hesitez pas !
Haut
