robots.txt

[thick]

Malgré une interdiction dans mon robots.txt, je vois Pompos 1.3 qui se régale à parcourir mon site.

J'ai ça dans mon robots.txt

User-agent: Pompos
Disallow: /

Pourquoi ne veut-il pas obéir ?

[Dudu]

Salut thick

Il ne veut pas obéir parce qu'il ne tient pas compte du robots.txt

Je te conseille plutôt de relever les 3 premiers nombres de son IP et de bannir la plage dans ton .htaccess

Sinon il y a aussi la solution en mode tractopelle: Bot Trap

[thick]

Pfff entre Pompos qui me les pompent et un spam massif par referers on s'acharne chez moi en ce moment !

Merci Dudu. Je vais passer par le .htaccess pour le bloquer

[Jeff]

Voila ce que j'ai rajouter dans mon .htacces pour bloquer ce robot:

Pompos a comme IP: 212.27.41.39 (chez moi)

order allow,deny
deny from 212.27.41 
allow from all

J'ai rajouté "allow from all" car si non je n'avais plus acces au site

Jeff,

[thick]

On peut remplacer l'IP par une URL ?

order allow,deny
deny from http://www.siteàbannir.com/pageméchante.htm
allow from all

[Dan]

Le mieux est encore de bloquer l'IP directement sur le firewall

C'est très simple à mettre en place.

/sbin/iptables -A INPUT -s 212.27.41.39  -j DROP

Dan

[thick]

Le mieux est encore de bloquer l'IP directement sur le firewall

<{POST_SNAPBACK}>

Le site n'est que sur un pauvre petit mut

[Dan]

Au temps pour moi... alors le fichier .htaccess est la seule solution.

Mais il ne faut pas mettre l'URL complète, seulement le nom de domaine (sans le www)

Dan

[recherche_webmaster]

Au temps pour moi...

Autant pour moi Dan

[thick]

Oki, merci Dan pour ces précisions (ouf, juste avant le départ en vacances de notre Dieu du .htaccess)

[Dudu]

Salut,

Voila ce que j'ai rajouter dans mon .htacces pour bloquer ce robot:

Pompos a comme IP: 212.27.41.39 (chez moi)

Pompos a cette adresse mais il en a plein d'autres. Dès qu'il se fait bloquer une adresse, il utilise une autre

Il faut donc bannir toute la plage -> 212.27.41.*

Au temps pour moi...

Autant pour moi Dan 

Non tu as tort et tu fais l'erreur que plein de gens font. L'expression "au temps pour moi" est très ancienne, a une histoire bien particulière, et s'écrit bien comme Dan l'a orthographié.

Pour les détails je te laisse regarder dans Google.

Et merci à l'avenir d'éviter ce genre de message inutile, ils n'apportent rien à la discussion sur Pompos et le fichier robots.txt