Aller au contenu

Duplicate Content lié aux proxy


Buzzy

Sujets conseillés

Bonjour,

Je prends le temps de publier sur le Hub pour vous demander de l'aide, je gère plusieurs sites internet et j'ai depuis quelques jours d'importants problème de duplicate content de la totalité de certains site internet sur Google du à des proxy qui indexe les pages visitées dans Google.

J'ai trouvé une solution pour tous ceux hébergés sur Appspot avec ce code :

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} AppEngine-Google [NC]
RewriteRule .* - [F]

Via (http://www.dontbeevil.fr/duplicate-content-web-proxy/)

Mais il est impossible de bloquer des proxy tels que :

baidu.proxy.cv.ua

3proxy.de

doomoney.com

xtps.in

run-it.rsi-network.fr

Quelqu'un aurait une solution ? Je perds un temps fou à lutter contre ces spameurs du web pour le moment en vain...

Lien vers le commentaire
Partager sur d’autres sites

  • 2 months later...
  • 1 month later...

Merci pour ces renseignements, j'ai eu beau chercher comment trouver leurs IPs dans les logs ou via des tutos grâce aux Whois je n'y arriver pas...

Surtout que je remarque d'autres proxy tels que : afagh-fc.com et lucki13.com commencent à copier mon contenu et à le dupliquer dans Google également.

Quelqu'un aurait-il un peu de temps pour m'aider à trouver les IPs à bloquer de ces proxys ?

Lien vers le commentaire
Partager sur d’autres sites

J'ai trouvé une règle à mettre dans le .htaccess qui en bloque certains, si ça peut aider :

RewriteEngine onRewriteCond %{HTTP:VIA} !^$ [OR]

RewriteCond %{HTTP:FORWARDED} !^$ [OR]

RewriteCond %{HTTP:USERAGENT_VIA} !^$ [OR]

RewriteCond %{HTTP:X_FORWARDED_FOR} !^$ [OR]

RewriteCond %{HTTP:PROXY_CONNECTION} !^$ [OR]

RewriteCond %{HTTP:XPROXY_CONNECTION} !^$ [OR]

RewriteCond %{HTTP:HTTP_PC_REMOTE_ADDR} !^$ [OR]

RewriteCond %{HTTP:HTTP_CLIENT_IP} !^$

RewriteRule ^(.*)$ - [F]

Lien vers le commentaire
Partager sur d’autres sites

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...