Version complète: sur le forum Webmaster Hub : fichier robots.txt
Webmaster Hub > Création et exploitation de Sites Internet > Les fondations d'un site > Hébergement de Sites
Lentreprenaute
mercredi 19 décembre 2007 à 13:07
Bonjour,


Je mets en place dans mon fichier robot un restriction sur l'indexation des moteurs de recherche et autres, je me pose 2 questions, la declaration est-elle sensible aux majusculex et certains bots ont des compléments d'info type version XXX. Doit on respecter les deux ou slurp et Slurp = la meme chose si j'ai un slurp 1 et que je declare slurp sera t'il compris par le bot.

Florent


CODE
User-agent: *
Crawl-delay: 10

User-agent: twengabot
Crawl-delay: 5

User-agent: voilabot
Crawl-delay: 5

User-agent: exabot
Crawl-delay: 5


User-agent: slurp  
User-agent: googlebot
User-agent: msnbot
Crawl-delay: 2
Jeanluc
mercredi 19 décembre 2007 à 16:51
CITATION("norme robots.txt")
The robot should be liberal in interpreting this field. A case insensitive substring match of the name without version information is recommended.

Le standard dit donc que les noms de robots peuvent aussi bien être écrits en majsucule qu'en minuscule et que les numéros de version et autres subtilités ne devraient pas intervenir.

En tout cas, pour Googlebot, Slurp et MSNBot, il n'y a pas de problème à ce niveau-là, mais il y a peu de robots qui comprennent "Crawl-delay" (utilité ?).

Jean-Luc
Lentreprenaute
mercredi 19 décembre 2007 à 17:58
merci jean luc,

utilité, ralentir les bots qui surcharge mon serveur, dans mon exemple ci-dessus je donne une valeur haute pour les generiques et plus de passage possible pour googlebot,slurp,....

c'est vrai que tous n'interprete pas ce parametre, mais je vais mettre en sus un filtre pour bloquer les bots qui ne respectent pas une certaine déontologie, genre qui ne lisent pas le fichier robots.txt, scannent a tout va et suivent des dossiers, fichiers interdits.


Florent
doubleje
mercredi 19 décembre 2007 à 18:19
Voici un outil pouvant faire ce genre de choses ou même plus (abus de connection, flood, ddos)


Télécharger :
FireWall anti DDOS, Flood, Spam

On peut l'installer aussi bien pour IPB, phpBB que pour vBulletin

Voici le cas d'IPB
CODE
Description:
  Allows you to protect the site from flooding and
  to prevent an SQL injection attack from single IP.
  This script probably won't stop EVERY variation of such an attack,
  but it'll give you some measure of security.

Disclaimer:
  You should only use this script to test the security of your own web applications
  or those you are authorized to do so. I, ntd1712, will take no responsibility for any problems
  or unfortunate consequences brought about by the use of InV-Firewall Script.

Requirement:
  PHP >= 4.1.0
*/

File to edit:
./.htaccess
./init.php
./ipchat.php
./lofiversion/index.php

File to upload:
.\.htaccess    --> ./.htaccess
.\.htpasswd    --> ./.htpasswd
.\firewall\*.* --> ./firewall/*.*

CHMOD folder 'firewall' to 0777

---------------------------------------------------------------------------------------------

Open: ./.htaccess

Find & replace the existing url with your board url: http://(www\.)?yourdomain.com/

---------------------------------------------------------------------------------------------

Open: ./init.php

Find:

//-----------------------------------------------
// Use custom handler?
//-----------------------------------------------

if ( CUSTOM_ERROR )
{
    set_error_handler("my_error_handler");
}

Add below:

$firewall = ROOT_PATH.'firewall/firewall.php';
if( file_exists($firewall) ){ require_once($firewall); }

---------------------------------------------------------------------------------------------

Open: ./ipchat.php

Find:

define( 'KERNEL_PATH', ROOT_PATH.'ips_kernel/' );

Add below:

$firewall = ROOT_PATH.'firewall/firewall.php';
if( file_exists($firewall) ){ require_once($firewall); }

---------------------------------------------------------------------------------------------

Open: ./lofiversion/index.php

Find:

define( 'KERNEL_PATH', ROOT_PATH.'ips_kernel/' );

Add below:

$firewall = ROOT_PATH.'firewall/firewall.php';
if( file_exists($firewall) ){ require_once($firewall); }

---------------------------------------------------------------------------------------------

That's all! :)
©2006 ntd1712
Ceci est une version "bas débit" de notre forum. Pour voir la version complète avec plus d'information, la mise en page et les images, veuillez cliquer ici.