Aller au contenu

Conseil suite à surcharge

bobdeo

Par bobdeo
dans Hébergement de Sites

 Partager

Sujets conseillés

bobdeo

bobdeo

Posté
Posté

Salut,

Cet après-midi mon serveur (Gentoo) était inaccessible. Le serveur

semblait surchargé (Mémoire à 100%, + de 300 process vs - de 100

habituellement). J'ai donc cherché dans les logs pour voir l'activité

avant le plantage et je pense à un robot. Comme je suis débutant j'aimerai

avoir votre avis :

----

deamon.log

----

Feb 28 17:38:23 ns23065 collectd[2663]: No sleeping because

`timeval_sub_timespec' returned non-zero!

Feb 28 17:39:18 ns23065 collectd[2663]: No sleeping because

`timeval_sub_timespec' returned non-zero!

----

error.log

----

[Wed Feb 28 17:38:32 2007] [error] server reached MaxClients setting,

consider raising the MaxClients setting

----

Dans l'access.log d'un site hébergé

----

147.91.22.145 - - [28/Feb/2007:17:39:04 +0100] "GET

/tag/sbs-broadcasting HTTP/1.1" 200 1179 "-" "Java/1.5.0_05"

147.91.22.145 - - [28/Feb/2007:17:37:54 +0100] "GET /tag/malignetv

HTTP/1.1" 200 1179 "-" "Java/1.5.0_05"

147.91.22.145 - - [28/Feb/2007:17:39:09 +0100] "GET /tag/upc HTTP/1.1"

200 1179 "-" "Java/1.5.0_05"

147.91.22.145 - - [28/Feb/2007:17:39:10 +0100] "GET /tag/virgin

HTTP/1.1" 200 1179 "-" "Java/1.5.0_05"

147.91.22.145 - - [28/Feb/2007:17:37:45 +0100] "GET /tag/liberty-media

HTTP/1.1" 200 1179 "-" "Java/1.5.0_05"

147.91.22.145 - - [28/Feb/2007:17:39:09 +0100] "GET

/tag/telecom-italia HTTP/1.1" 200 1179 "-" "Java/1.5.0_05"

147.91.22.145 - - [28/Feb/2007:17:39:09 +0100] "GET /tag/tdf HTTP/1.1"

200 1179 "-" "Java/1.5.0_05"

147.91.22.145 - - [28/Feb/2007:17:39:08 +0100] "GET /tag/uefa

HTTP/1.1" 200 1179 "-" "Java/1.5.0_05"

147.91.22.145 - - [28/Feb/2007:17:39:08 +0100] "GET /tag/s%C3%A9nat

HTTP/1.1" 200 1179 "-" "Java/1.5.0_05"

Merci

Lien vers le commentaire
Partager sur d’autres sites
bobdeo

bobdeo

Posté
  • Auteur
Posté
tout simplement... ;) merci

comment je pourrai limiter ça ? Disons autoriser que n connexion par seconde et par IP ?

Sinon on m'a conseillé d'augmenter le nombre de maxserver dans le conf d'apache.

Qu'en pensez-vous ?

Lien vers le commentaire
Partager sur d’autres sites
Salesforce

Salesforce

Posté
Posté

Bloque déjà ce user-agent via ton .htaccess : Java/1.5.0_05

Ca ne bloquera aucun utilisateur, ni les principaux moteurs de recherche et ça t'évitera de consommer inutilement des ressources.

Plus globalement, il faut se prémunir contre les aspirateurs de sites, la première étape consiste donc à bloquer leur user-agent lorsqu'ils en ont un spécifique. Ca ne règle pas tout mais ça donne une grosse bouffée d'air. Ca aura un impact sur tes stats car tu verras une baisse du nombre de pages affichées mensuellement

Lien vers le commentaire
Partager sur d’autres sites
ludo88

ludo88

Posté
Posté

mais ces pages la ne représentaient pas de vrais visiteurs et donc aucun autre interet que de faire gofler artificiellment des stats

Lien vers le commentaire
Partager sur d’autres sites
bobdeo

bobdeo

Posté
  • Auteur
Posté

Pas mal mais ça ne résoudra que partiellement mon problème...

Exemple en début d'après-midi franchement c'est abusé !

85.31.105.42 - - [04/Mar/2007:14:37:26 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:12 +0100] "GET /tag/europe HTTP/1.1" 200 59361 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:19 +0100] "GET /tag/freeview HTTP/1.1" 200 58042 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:25 +0100] "GET /tag/jeux-olympiques-%28jo%29 HTTP/1.1" 200 66461 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:26 +0100] "GET /tag/loi HTTP/1.1" 200 57625 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:27 +0100] "GET /tag/lci HTTP/1.1" 200 58540 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:17 +0100] "GET /tag/france-2 HTTP/1.1" 200 57251 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:28 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:30 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:30 +0100] "GET /tag/ina HTTP/1.1" 200 58439 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:31 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:29 +0100] "GET /tag/hbo HTTP/1.1" 200 49917 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:31 +0100] "GET /feed/ HTTP/1.1" 302 328 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:32 +0100] "GET /tag/kabel-deutschland HTTP/1.1" 200 53340 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:32 +0100] "GET /tag/nantes-7 HTTP/1.1" 200 51562 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"
85.31.105.42 - - [04/Mar/2007:14:37:33 +0100] "GET /tag/kto HTTP/1.1" 200 59111 "-" "Blogdimension/Alpha2 (Blogdimension BlogBot; http://www.blogdimension.com)"

Comment gérez-vous ce type de consultation massive ?

Lien vers le commentaire
Partager sur d’autres sites
Salesforce

Salesforce

Posté
Posté (modifié)

Le .htaccess ne fait pas tout. Il faut aussi utiliser le robots.txt, et pour les bots ne respectant pas ce fichier il faut aussi envisager de bloquer des IPs.

Il n'y a pas de solution miracle qui résolve d'un coup le problème, la correction sera progressive, en fonction des constatations qui peuvent être faites depuis les logs

Nb : blogdimension n'apportant pas vraiment de visiteurs, et au vu du nombre de pages qu'il aspire, il peut être bloqué

Modifié par Salesforce
Lien vers le commentaire
Partager sur d’autres sites
ludo88

ludo88

Posté
Posté

Ils sont en lancement, ils ont besoin de remplir leur abse de données d'ou :

ils ne t'envoient pas beaucoup de visiteurs,

ils consomment beaucoup de ressources.

A toi de voir si tu leur laisse un acces, si tu les contacte ou si tu coupes tout sur leur(s) ip

Lien vers le commentaire
Partager sur d’autres sites

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
 Partager
Aller sur la liste des sujets
×
×
  • Créer...