Salut,
Cet après-midi mon serveur (Gentoo) était inaccessible. Le serveur
semblait surchargé (Mémoire à 100%, + de 300 process vs - de 100
habituellement). J'ai donc cherché dans les logs pour voir l'activité
avant le plantage et je pense à un robot. Comme je suis débutant j'aimerai
avoir votre avis :
----
deamon.log
----
Feb 28 17:38:23 ns23065 collectd[2663]: No sleeping because
`timeval_sub_timespec' returned non-zero!
Feb 28 17:39:18 ns23065 collectd[2663]: No sleeping because
`timeval_sub_timespec' returned non-zero!
----
error.log
----
[Wed Feb 28 17:38:32 2007] [error] server reached MaxClients setting,
consider raising the MaxClients setting
----
Dans l'access.log d'un site hébergé
----
147.91.22.145 - - [28/Feb/2007:17:39:04 +0100] "GET
/tag/sbs-broadcasting HTTP/1.1" 200 1179 "-" "Java/1.5.0_05"
147.91.22.145 - - [28/Feb/2007:17:37:54 +0100] "GET /tag/malignetv
HTTP/1.1" 200 1179 "-" "Java/1.5.0_05"
147.91.22.145 - - [28/Feb/2007:17:39:09 +0100] "GET /tag/upc HTTP/1.1"
200 1179 "-" "Java/1.5.0_05"
147.91.22.145 - - [28/Feb/2007:17:39:10 +0100] "GET /tag/virgin
HTTP/1.1" 200 1179 "-" "Java/1.5.0_05"
147.91.22.145 - - [28/Feb/2007:17:37:45 +0100] "GET /tag/liberty-media
HTTP/1.1" 200 1179 "-" "Java/1.5.0_05"
147.91.22.145 - - [28/Feb/2007:17:39:09 +0100] "GET
/tag/telecom-italia HTTP/1.1" 200 1179 "-" "Java/1.5.0_05"
147.91.22.145 - - [28/Feb/2007:17:39:09 +0100] "GET /tag/tdf HTTP/1.1"
200 1179 "-" "Java/1.5.0_05"
147.91.22.145 - - [28/Feb/2007:17:39:08 +0100] "GET /tag/uefa
HTTP/1.1" 200 1179 "-" "Java/1.5.0_05"
147.91.22.145 - - [28/Feb/2007:17:39:08 +0100] "GET /tag/s%C3%A9nat
HTTP/1.1" 200 1179 "-" "Java/1.5.0_05"
Merci
Version complète: sur le forum Webmaster Hub : Conseil suite à surcharge
Webmaster Hub > Création et exploitation de Sites Internet > Les fondations d'un site > Hébergement de Sites
Salut,
http://147.91.22.145/
on dirait bien que c'est un robot en java, à afficher 4 pages par secondes comme ça, ton serveur n'a pas aimé
http://147.91.22.145/
on dirait bien que c'est un robot en java, à afficher 4 pages par secondes comme ça, ton serveur n'a pas aimé
tout simplement... merci
comment je pourrai limiter ça ? Disons autoriser que n connexion par seconde et par IP ?
mercicomment je pourrai limiter ça ? Disons autoriser que n connexion par seconde et par IP ?
CITATION(bobdeo @ mercredi 28 février 2007, 23h02) 
tout simplement... merci
comment je pourrai limiter ça ? Disons autoriser que n connexion par seconde et par IP ?
mercicomment je pourrai limiter ça ? Disons autoriser que n connexion par seconde et par IP ?
Sinon on m'a conseillé d'augmenter le nombre de maxserver dans le conf d'apache.
Qu'en pensez-vous ?
Bloque déjà ce user-agent via ton .htaccess : Java/1.5.0_05
Ca ne bloquera aucun utilisateur, ni les principaux moteurs de recherche et ça t'évitera de consommer inutilement des ressources.
Plus globalement, il faut se prémunir contre les aspirateurs de sites, la première étape consiste donc à bloquer leur user-agent lorsqu'ils en ont un spécifique. Ca ne règle pas tout mais ça donne une grosse bouffée d'air. Ca aura un impact sur tes stats car tu verras une baisse du nombre de pages affichées mensuellement
Ca ne bloquera aucun utilisateur, ni les principaux moteurs de recherche et ça t'évitera de consommer inutilement des ressources.
Plus globalement, il faut se prémunir contre les aspirateurs de sites, la première étape consiste donc à bloquer leur user-agent lorsqu'ils en ont un spécifique. Ca ne règle pas tout mais ça donne une grosse bouffée d'air. Ca aura un impact sur tes stats car tu verras une baisse du nombre de pages affichées mensuellement
mais ces pages la ne représentaient pas de vrais visiteurs et donc aucun autre interet que de faire gofler artificiellment des stats
Pas mal mais ça ne résoudra que partiellement mon problème...
Exemple en début d'après-midi franchement c'est abusé !
Comment gérez-vous ce type de consultation massive ?
Exemple en début d'après-midi franchement c'est abusé !
CODE
85.31.105.42 - - [04/Mar/2007:14:37:26 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:12 +0100] "GET /tag/europe HTTP/1.1" 200 59361 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:19 +0100] "GET /tag/freeview HTTP/1.1" 200 58042 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:25 +0100] "GET /tag/jeux-olympiques-%28jo%29 HTTP/1.1" 200 66461 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:26 +0100] "GET /tag/loi HTTP/1.1" 200 57625 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:27 +0100] "GET /tag/lci HTTP/1.1" 200 58540 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:17 +0100] "GET /tag/france-2 HTTP/1.1" 200 57251 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:30 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:30 +0100] "GET /tag/ina HTTP/1.1" 200 58439 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:31 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:29 +0100] "GET /tag/hbo HTTP/1.1" 200 49917 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:31 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:32 +0100] "GET /tag/kabel-deutschland HTTP/1.1" 200 53340 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:32 +0100] "GET /tag/nantes-7 HTTP/1.1" 200 51562 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:33 +0100] "GET /tag/kto HTTP/1.1" 200 59111 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:12 +0100] "GET /tag/europe HTTP/1.1" 200 59361 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:19 +0100] "GET /tag/freeview HTTP/1.1" 200 58042 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:25 +0100] "GET /tag/jeux-olympiques-%28jo%29 HTTP/1.1" 200 66461 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:26 +0100] "GET /tag/loi HTTP/1.1" 200 57625 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:27 +0100] "GET /tag/lci HTTP/1.1" 200 58540 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:17 +0100] "GET /tag/france-2 HTTP/1.1" 200 57251 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:30 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:30 +0100] "GET /tag/ina HTTP/1.1" 200 58439 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:31 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:29 +0100] "GET /tag/hbo HTTP/1.1" 200 49917 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:31 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:32 +0100] "GET /tag/kabel-deutschland HTTP/1.1" 200 53340 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:32 +0100] "GET /tag/nantes-7 HTTP/1.1" 200 51562 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:33 +0100] "GET /tag/kto HTTP/1.1" 200 59111 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
Comment gérez-vous ce type de consultation massive ?
Le .htaccess ne fait pas tout. Il faut aussi utiliser le robots.txt, et pour les bots ne respectant pas ce fichier il faut aussi envisager de bloquer des IPs.
Il n'y a pas de solution miracle qui résolve d'un coup le problème, la correction sera progressive, en fonction des constatations qui peuvent être faites depuis les logs
Nb : blogdimension n'apportant pas vraiment de visiteurs, et au vu du nombre de pages qu'il aspire, il peut être bloqué
Il n'y a pas de solution miracle qui résolve d'un coup le problème, la correction sera progressive, en fonction des constatations qui peuvent être faites depuis les logs
Nb : blogdimension n'apportant pas vraiment de visiteurs, et au vu du nombre de pages qu'il aspire, il peut être bloqué
Ils sont en lancement, ils ont besoin de remplir leur abse de données d'ou :
ils ne t'envoient pas beaucoup de visiteurs,
ils consomment beaucoup de ressources.
A toi de voir si tu leur laisse un acces, si tu les contacte ou si tu coupes tout sur leur(s) ip
ils ne t'envoient pas beaucoup de visiteurs,
ils consomment beaucoup de ressources.
A toi de voir si tu leur laisse un acces, si tu les contacte ou si tu coupes tout sur leur(s) ip
Ceci est une version "bas débit" de notre forum. Pour voir la version complète avec plus d'information, la mise en page et les images, veuillez cliquer ici.