MarvinLeRouge Posté 20 Mai 2005 Partager Posté 20 Mai 2005 Salut, 1) Je cherche de bonnes règles de bannissement d'aspirateurs d'e-mails. Les autres robots ne me dérangent pas particulièrement. Il me semble avoir lu quelque part qu'on pouvait bloquer les visiteurs demandant plus de n pages par minute; comment faire ? 2) Je voudrais que certains répertoires de mon site ne soient accessibles que depuis le site lui-même, pas de requète externe directe. Comment faire ? Merci Lien vers le commentaire Partager sur d’autres sites More sharing options...
Jan Posté 20 Mai 2005 Partager Posté 20 Mai 2005 Salut, Pour la 1ere question je ne sais pas. Pour la 2éme ça doit donner quelque chose comme: RewriteEngine OnRewriteCond %{HTTP_REFERER} !^http://www.tonsite.com/.*$RewriteRule .* - [F] La réécriture conditionnelle sur le referer est abordée à http://www.webmaster-hub.com/publication/article5.html Lien vers le commentaire Partager sur d’autres sites More sharing options...
Anonymus Posté 21 Mai 2005 Partager Posté 21 Mai 2005 Il n'existe pas, à proprement parler, d'aspirateurs d'adresse mails. Un robot est un robot, on ne peut faire la différence entre celui qui cherche des adresses mail et celui qui cherche le contenu de la page. Ils utilisent le meme procédé. Pour ce qui est de bloquer les aspirateurs de sites, ou les visiteurs demandant plus de n pages en moins de x secondes, tu as un script (presque) tout fait sur le Hub : http://www.webmaster-hub.com/publication/article49.html Si tu as des questions à propos de ce programme, n'hésites pas Anonymus. Lien vers le commentaire Partager sur d’autres sites More sharing options...
Eclipsis Posté 21 Mai 2005 Partager Posté 21 Mai 2005 Même s'il n'existe pas, comme le dit Anonymous de façon "dynamique" de faire la différence entre un aspirateur d'email ou un autre moteur, il y a moyen de bloquer ceux qui sont identifiés comme tels (aspirateurs connus). Maintenant la liste peut être longue. Tu peux utiliser ton fichier robots.txt pour en bloquer un certain nombre... Par exemple: User-agent: URL_Spider_ProDisallow: /User-agent: CherryPickerDisallow: /User-agent: EmailCollectorDisallow: /User-agent: EmailSiphonDisallow: /User-agent: WebBanditDisallow: /User-agent: EmailWolfDisallow: /User-agent: ExtractorProDisallow: /User-agent: CopyRightCheckDisallow: /User-agent: CrescentDisallow: /User-agent: SiteSnaggerDisallow: /User-agent: ProWebWalkerDisallow: /User-agent: CheeseBotDisallow: /User-agent: LNSpiderguyDisallow: /User-agent: Black HoleDisallow: /User-agent: TitanDisallow: /User-agent: WebStripperDisallow: /User-agent: NetMechanicDisallow: /User-agent: CherryPickerDisallow: /User-agent: EmailCollectorDisallow: /User-agent: EmailSiphonDisallow: /User-agent: WebBanditDisallow: /User-agent: EmailWolfDisallow: /User-agent: ExtractorProDisallow: /User-agent: CopyRightCheckDisallow: /User-agent: CrescentDisallow: /User-agent: WgetDisallow: /User-agent: SiteSnaggerDisallow: /User-agent: ProWebWalkerDisallow: /User-agent: CheeseBotDisallow: /User-agent: TeleportDisallow: /User-agent: TeleportProDisallow: /User-agent: MIIxpcDisallow: /User-agent: TelesoftDisallow: /User-agent: Website QuesterDisallow: /User-agent: WebZipDisallow: /User-agent: moget/2.1Disallow: /User-agent: WebZip/4.0Disallow: /User-agent: WebSaugerDisallow: /User-agent: WebCopierDisallow: /User-agent: NetAntsDisallow: /User-agent: Mister PiXDisallow: /User-agent: WebAutoDisallow: /User-agent: TheNomadDisallow: /User-agent: WWW-Collector-EDisallow: /User-agent: RMADisallow: /User-agent: libWeb/clsHTTPDisallow: /User-agent: asteriasDisallow: /User-agent: httplibDisallow: /User-agent: turingosDisallow: /User-agent: spannerDisallow: /User-agent: InfoNaviRobotDisallow: /User-agent: Harvest/1.5Disallow: /User-agent: Bullseye/1.0Disallow: /User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)Disallow: /User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0Disallow: /User-agent: CherryPickerSE/1.0Disallow: /User-agent: CherryPickerElite/1.0Disallow: /User-agent: WebBandit/3.50Disallow: /User-agent: NICErsPRODisallow: /User-agent: Microsoft URL Control - 5.01.4511Disallow: /User-agent: DittoSpyderDisallow: /User-agent: FoobotDisallow: /User-agent: WebmasterWorldForumBotDisallow: /User-agent: SpankBotDisallow: /User-agent: BotALotDisallow: /User-agent: lwp-trivial/1.34Disallow: /User-agent: lwp-trivialDisallow: /User-agent: Wget/1.6Disallow: /User-agent: BunnySlippersDisallow: /User-agent: Microsoft URL Control - 6.00.8169Disallow: /User-agent: URLy WarningDisallow: /User-agent: Wget/1.5.3Disallow: /User-agent: LinkWalkerDisallow: /User-agent: cosmosDisallow: /User-agent: mogetDisallow: /User-agent: hloaderDisallow: /User-agent: humanlinksDisallow: /User-agent: LinkextractorProDisallow: /User-agent: Offline ExplorerDisallow: /User-agent: Mata HariDisallow: /User-agent: LexiBotDisallow: /User-agent: Web Image CollectorDisallow: /User-agent: The IntraformantDisallow: /User-agent: True_Robot/1.0Disallow: /User-agent: True_RobotDisallow: /User-agent: BlowFish/1.0Disallow: /User-agent: JennyBotDisallow: /User-agent: MIIxpc/4.2Disallow: /User-agent: BuiltBotToughDisallow: /User-agent: ProPowerBot/2.14Disallow: /User-agent: BackDoorBot/1.0Disallow: /User-agent: toCrawl/UrlDispatcherDisallow: /User-agent: WebEnhancerDisallow: /User-agent: TightTwatBotDisallow: /User-agent: suzuranDisallow: /User-agent: VCI WebViewer VCI WebViewer Win32Disallow: /User-agent: VCIDisallow: /User-agent: Szukacz/1.4Disallow: /User-agent: QueryN MetasearchDisallow: /User-agent: Openfind data gathereDisallow: /User-agent: OpenfindDisallow: /User-agent: Xenu's Link Sleuth 1.1cDisallow: /User-agent: Xenu'sDisallow: /User-agent: ZeusDisallow: /User-agent: RepoMonkey Bait & Tackle/v1.01Disallow: /User-agent: RepoMonkeyDisallow: /User-agent: Zeus 32297 Webster Pro V2.9 Win32Disallow: /User-agent: Webster ProDisallow: /User-agent: EroCrawlerDisallow: /User-agent: LinkScan/8.1a UnixDisallow: /User-agent: Keyword Density/0.9Disallow: /User-agent: Kenjin SpiderDisallow: /User-agent: CegbfeiehDisallow: /User-agent: RoverbotDisallow: /User-agent: TurnitinBotDisallow: /User-agent: QuepasaCreepDisallow: /User-agent: JetbotDisallow: /User-agent: eCatchDisallow: /User-agent: DIIbotDisallow: /User-agent: psbotDisallow: / (c'est un exemple, il n'y a pas dans cette liste que des aspirateurs d'emails) A toi de te renseigner et/ou de chercher sur Internet la liste des email-spiders les plus connus, et de voir si tu veux les bloquer... A+ Lien vers le commentaire Partager sur d’autres sites More sharing options...
Sujets conseillés
Veuillez vous connecter pour commenter
Vous pourrez laisser un commentaire après vous êtes connecté.
Connectez-vous maintenant