jmi Posted September 29, 2010 Share Posted September 29, 2010 Bonjour, Nous avons constaté que sur nos sites, la plupart des affichages de page étaient générés par les robots, qui pour la grande majorité ne doivent pas présenter un grand intérêt. Quel technique peut-être judicieuse afin d'éviter que ces robots ne monopolisent les ressources serveur au détriment des internautes ? En vous remerciant Jmi Link to comment Share on other sites More sharing options...
Patrick Posted September 29, 2010 Share Posted September 29, 2010 Bonjour jmi, Par robots, il faut distinguer les bots des moteurs de recherche et les autres (aspirateurs de site, etc.). Utiliser un .htaccess est une solution. Mais elle implique d'avoir au préalable identifié les robots non désiré. Tu trouveras ton bonheur sur ce site. Il existe, sauf erreur, d'autres méthodes, notamment au niveau du serveur d'hébergement (donc en amont du htaccess). Mais je ne suis assez calé pour t'en parler, je laisse cela aux spécialistes ++ Patrick Link to comment Share on other sites More sharing options...
jmi Posted September 30, 2010 Author Share Posted September 30, 2010 Bonjour Patrick, Utiliser un .htaccess est une solution. Mais elle implique d'avoir au préalable identifié les robots non désiré. Merci pour cette url, j'en avais une aussi dans le temps mais le site est en page parking :-(... N'y aurait-il pas la solution inverse, avoir une liste de robots des moteurs désirés et on refuse les autres, risqué ? Merci a vous Link to comment Share on other sites More sharing options...
Jeanluc Posted September 30, 2010 Share Posted September 30, 2010 N'y aurait-il pas la solution inverse, avoir une liste de robots des moteurs désirés et on refuse les autres, risqué ?Ce sera obligatoirement: moteurs désirés + navigateurs désirés. Cela va faire du monde et cela ne me semble pas gérable au niveau du .htaccess. Au niveau du robots.txt, on s'adresse uniquement aux robots et on peut y placer une liste de robots autorisés à l'exclusion de tout autre. La difficulté ici est que seuls les robots "honnêtes" respectent robots.txt et les plus nuisibles n'en tiendront aucun compte. Il faut bien considérer le rapport "coût lié à la présence de ces robots" / "coût pour les éliminer". Avec les tarfis de bande passante et les prix d'hébergements actuels, il y a pas mal de cas où le mieux est d'ignorer ses robots non désirés. Jean-Luc Link to comment Share on other sites More sharing options...
jmi Posted September 30, 2010 Author Share Posted September 30, 2010 Bonjour Jean-Luc, Ce sera obligatoirement: moteurs désirés + navigateurs désirés. Cela va faire du monde et cela ne me semble pas gérable au niveau du .htaccess. Effectivement, j'avais un peu oublié le cas des navigateurs :-(, là ça devient nettement moins envisageable... Au niveau du robots.txt, on s'adresse uniquement aux robots et on peut y placer une liste de robots autorisés à l'exclusion de tout autre. La difficulté ici est que seuls les robots "honnêtes" respectent robots.txt et les plus nuisibles n'en tiendront aucun compte. Sont pas gentils jusqu'au bout !, je ne me faisais pas d'illusion sur le robots.txt ;-) Il faut bien considérer le rapport "coût lié à la présence de ces robots" / "coût pour les éliminer". Avec les tarfis de bande passante et les prix d'hébergements actuels, il y a pas mal de cas où le mieux est d'ignorer ses robots non désirés. Que voulez-vous dire par "coût pour les éliminer" ? Merci Link to comment Share on other sites More sharing options...
Jeanluc Posted September 30, 2010 Share Posted September 30, 2010 Je veux dire que le temps passé à modifier les .htaccess et/ou les scripts, le fait que cela compliquera éventuellement la maintenance future, l'impact de ces modifications sur les performances, tout cela représente un coût à comparer au bénéfice retiré de l'opération. Il faut aussi savoir qu'il est impossible d'éliminer tous les mauvais robots. Il y en aura quelqu'uns qui continueront à passer à travers les mailles du filet. Et les développeurs de ces robots font évoluer leurs techniques de sorte que les contremesures devront aussi évoluer pour garder le même niveau d'efficacité Jean-Luc Link to comment Share on other sites More sharing options...
jmi Posted September 30, 2010 Author Share Posted September 30, 2010 Merci Patrick et Jean-luc pour vos réponses éclairées. Jmi Link to comment Share on other sites More sharing options...
smaciani Posted October 18, 2010 Share Posted October 18, 2010 Juste pour vous aider, voilà quelques lignes qui interdisent l'accès à votre site aux principaux robots qui y nuisent. Ces lignes sont à mettre en premier sur votre fichier robots.txt User-agent: AlexibotDisallow: /User-agent: Aqua_ProductsDisallow: /User-agent: asteriasDisallow: /User-agent: b2w/0.1Disallow: /User-agent: BackDoorBot/1.0Disallow: /User-agent: BlowFish/1.0Disallow: /User-agent: Bookmark search toolDisallow: /User-agent: BotALotDisallow: /User-agent: BotRightHereDisallow: /User-agent: BuiltBotToughDisallow: /User-agent: Bullseye/1.0Disallow: /User-agent: BunnySlippersDisallow: /User-agent: CheeseBotDisallow: /User-agent: CherryPickerDisallow: /User-agent: CherryPickerElite/1.0Disallow: /User-agent: CherryPickerSE/1.0Disallow: /User-agent: CopernicDisallow: /User-agent: CopyRightCheckDisallow: /User-agent: cosmosDisallow: /User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0Disallow: /User-agent: CrescentDisallow: /User-agent: DittoSpyderDisallow: /User-agent: EmailCollectorDisallow: /User-agent: EmailSiphonDisallow: /User-agent: EmailWolfDisallow: /User-agent: EroCrawlerDisallow: /User-agent: ExtractorProDisallow: /User-agent: FairAd ClientDisallow: /User-agent: Flaming AttackBotDisallow: /User-agent: FoobotDisallow: /User-agent: GaisbotDisallow: /User-agent: GetRight/4.2Disallow: /User-agent: Harvest/1.5Disallow: /User-agent: hloaderDisallow: /User-agent: httplibDisallow: /User-agent: HTTrack 3.0Disallow: /User-agent: humanlinksDisallow: /User-agent: InfoNaviRobotDisallow: /User-agent: Iron33/1.0.2Disallow: /User-agent: JennyBotDisallow: /User-agent: Kenjin SpiderDisallow: /User-agent: Keyword Density/0.9Disallow: /User-agent: larbinDisallow: /User-agent: LexiBotDisallow: /User-agent: libWeb/clsHTTPDisallow: /User-agent: LinkextractorProDisallow: /User-agent: LinkScan/8.1a UnixDisallow: /User-agent: LinkWalkerDisallow: /User-agent: LNSpiderguyDisallow: /User-agent: lwp-trivial/1.34Disallow: /User-agent: lwp-trivialDisallow: /User-agent: Mata HariDisallow: /User-agent: Microsoft URL Control - 5.01.4511Disallow: /User-agent: Microsoft URL Control - 6.00.8169Disallow: /User-agent: Microsoft URL ControlDisallow: /User-agent: MIIxpc/4.2Disallow: /User-agent: MIIxpcDisallow: /User-agent: Mister PiXDisallow: /User-agent: moget/2.1Disallow: /User-agent: mogetDisallow: /User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)Disallow: /User-agent: MSIECrawlerDisallow: /User-agent: NetAntsDisallow: /User-agent: NICErsPRODisallow: /User-agent: Offline ExplorerDisallow: /User-agent: OpenbotDisallow: /User-agent: Openfind data gathererDisallow: /User-agent: OpenfindDisallow: /User-agent: Oracle Ultra SearchDisallow: /User-agent: PerManDisallow: /User-agent: ProPowerBot/2.14Disallow: /User-agent: ProWebWalkerDisallow: /User-agent: psbotDisallow: /User-agent: Python-urllibDisallow: /User-agent: QueryN MetasearchDisallow: /User-agent: Radiation Retriever 1.1Disallow: /User-agent: RepoMonkey Bait & Tackle/v1.01Disallow: /User-agent: RepoMonkeyDisallow: /User-agent: RMADisallow: /User-agent: searchpreviewDisallow: /User-agent: SiteSnaggerDisallow: /User-agent: SpankBotDisallow: /User-agent: spannerDisallow: /User-agent: suzuranDisallow: /User-agent: Szukacz/1.4Disallow: /User-agent: TeleportDisallow: /User-agent: TeleportProDisallow: /User-agent: TelesoftDisallow: /User-agent: The IntraformantDisallow: /User-agent: TheNomadDisallow: /User-agent: TightTwatBotDisallow: /User-agent: toCrawl/UrlDispatcherDisallow: /User-agent: True_Robot/1.0Disallow: /User-agent: True_RobotDisallow: /User-agent: turingosDisallow: /User-agent: TurnitinBot/1.5Disallow: /User-agent: TurnitinBotDisallow: /User-agent: URL ControlDisallow: /User-agent: URL_Spider_ProDisallow: /User-agent: URLy WarningDisallow: /User-agent: VCI WebViewer VCI WebViewer Win32Disallow: /User-agent: VCIDisallow: /User-agent: Web Image CollectorDisallow: /User-agent: WebAutoDisallow: /User-agent: WebBandit/3.50Disallow: /User-agent: WebBanditDisallow: /User-agent: WebCapture 2.0Disallow: /User-agent: WebCopier v.2.2Disallow: /User-agent: WebCopier v3.2aDisallow: /User-agent: WebCopierDisallow: /User-agent: WebEnhancerDisallow: /User-agent: WebSaugerDisallow: /User-agent: Website QuesterDisallow: /User-agent: Webster ProDisallow: /User-agent: WebStripperDisallow: /User-agent: WebZip/4.0Disallow: /User-agent: WebZIP/4.21Disallow: /User-agent: WebZIP/5.0Disallow: /User-agent: WebZipDisallow: /User-agent: Wget/1.5.3Disallow: /User-agent: Wget/1.6Disallow: /User-agent: WgetDisallow: /User-agent: wgetDisallow: /User-agent: WWW-Collector-EDisallow: /User-agent: Xenu's Link Sleuth 1.1cDisallow: /User-agent: Xenu'sDisallow: /User-agent: Zeus 32297 Webster Pro V2.9 Win32Disallow: /User-agent: Zeus Link ScoutDisallow: /User-agent: ZeusDisallow: / Link to comment Share on other sites More sharing options...
Jeanluc Posted October 18, 2010 Share Posted October 18, 2010 Juste pour vous aider, voilà quelques lignes qui interdisent l'accès à votre site aux principaux robots qui y nuisent. Ces lignes sont à mettre en premier sur votre fichier robots.txtBonjour, C'est une liste que tu as créée toi-même ou que tu as recopiée ? Si c'est une copie (comme je le pense), ce serait sympa d'indiquer la source. Je ne vais pas y aller par quatre chemins. Au départ, ce genre de liste a été créée par une personne compétente, puis modifiée par des personnes qui le sont moins. Finalement, c'est devenu du n'importe quoi. Questions: - Pourquoi recommandes-tu de mettre ces lignes "en premier" ? En quoi la position des lignes dans robots.txt a-t-elle de l'importance ? - Pourquoi indiques-tu un numéro de version pour certains robots ? As-tu une information précise qui indique que cela est utile ? - Pourquoi ne regroupes-tu pas les différents user-agent ? Jean-Luc Link to comment Share on other sites More sharing options...
oliviermaster Posted October 18, 2010 Share Posted October 18, 2010 Ils utilisent tant de ressource que cela les robots qui parcourt le site ? Certes ça fausse un peu les stats mais je me demande si cela vaut vraiment la peine de se battre contre eux... Link to comment Share on other sites More sharing options...
smaciani Posted October 18, 2010 Share Posted October 18, 2010 Bonjour, C'est une liste que tu as créée toi-même ou que tu as recopiée ? Si c'est une copie (comme je le pense), ce serait sympa d'indiquer la source. Bonjour Jean-Luc. En effet, cette liste a été recopiée à partir d'un fichier robots.txt généré par un des meilleurs plugins pour WordPress. J'ai bien pris le temps de la vérifier, et l'utilise sur presque tous les sites web que je gère. - Pourquoi recommandes-tu de mettre ces lignes "en premier" ? En quoi la position des lignes dans robots.txt a-t-elle de l'importance ? Parce qu'il est toujours conseillé de commencer par les interdictions, avant d'autoriser le reste des moteurs et des bots à accéder au contenu. D'ailleurs, certains bots ne prennent pas la peine de lire tout le fichier robots.txt et se contentent des premières lignes. S'ils y trouvent une autorisation d'accéder au contenu, ils peuvent y accéder. Enfin, en scannant les deux fichiers (lignes en premier, et lignes en dernier) sur Google Webmasters Tools, celui-ci affiche que tous les deux sont valides. - Pourquoi indiques-tu un numéro de version pour certains robots ? As-tu une information précise qui indique que cela est utile ? Certains bots indiquent le numéro de leurs versions dans le nom qu'ils déclarent en visitant le site. De ce fait, si l'on ne cite pas le nom complet de tous les bots, cela ne les empêchera pas d'accéder au contenu. - Pourquoi ne regroupes-tu pas les différents user-agent ? Tout simplement parce que certains robots n'interprètent pas le fichier robots.txt de cette manière. Il vaut mieux écrire ce fichier dans sa forme classique qui est : User-agent: Nom du robot Disallow : dossier à interdire Enfin, et comme je l'ai précisé sur mon post de présentation (qui a été supprimé), je ne dis pas tout savoir ni tout connaître. Sandrine Link to comment Share on other sites More sharing options...
smaciani Posted October 18, 2010 Share Posted October 18, 2010 Ils utilisent tant de ressource que cela les robots qui parcourt le site ? Certes ça fausse un peu les stats mais je me demande si cela vaut vraiment la peine de se battre contre eux... Bonjour. Ce n'est véritablement pas les statistiques qui dérangent, mais deux autres choses : 1 - Certains robots recopient votre site et le télécharge vers un serveur ou un ordinateur. Ensuite, quiconque pourrait y faire des modifications et l'uploader comme s'il s'agissait de son propre site. Ainsi, vous vous aurez donné du mal (et peut être de l'argent) dans la conception et la réalisation de votre site, et qu'un voleur vienne dire que c'est le sien. Dans le cas des entreprises, c'est comme cela que le phishing se produit. Une personne ou un robot aspire une page de login ou un formulaire, modifie son code, et l'uploade sur une adresse qui ressemble à celle du site source. Cela peut également nuire à l'image des entreprises ou de faire passer des escrocs pour des entreprises qu'ils ne sont pas. 2 - Dans certains cas où le trafic et la bande passante sont limités, cela devient très très génant, surtout si le site internet pèse quelques giga-octets (des vidéos, ou des fichiers par exemple). En visitant le site, le robot les aspire en un coup. Il consomme votre trafic (qui est limité dans la plupart des cas), et ralenti les téléchargements par des personnes à qui vous autorisez l'accès à ces fichiers. Cela c'est sans parler de ce que peuvent contenir ces fichiers qui peuvent être des atouts de votre site, et qui peuvent se retrouver du jour au lendemain gratuits et libres sur la toile. Link to comment Share on other sites More sharing options...
Jeanluc Posted October 18, 2010 Share Posted October 18, 2010 Enfin, et comme je l'ai précisé sur mon post de présentation (qui a été supprimé), je ne dis pas tout savoir ni tout connaître.Bien entendu et je ne prétends pas tout savoir non plus, mais on ne rend pas service quand on présente comme vérifiées des choses qui ne le sont pas. Je me limiterai à deux exemples: 1. Xenu Ton robots.txt contient: User-agent: Xenu's Link Sleuth 1.1cDisallow: /User-agent: Xenu'sDisallow: / Le site officiel de Xenu dit: Things I will do in the future (maybe when hell freezes over!): ROBOTS.TXT support Donc robots.txt n'a aucun effet sur Xenu. 2. Turnitin Ton robots.txt contient: User-agent: TurnitinBot/1.5Disallow: /User-agent: TurnitinBotDisallow: / La FAQ de Turnitinbot dit: To exclude TurnitinBot from all or portions of your site all you have to to do is create a file called robots.txt and put it in the top most directory of your web site.Below is an example of a robots.txt file which exludes ONLY our robot from a portion or all of your site. #This is an example robots.txt file User-agent: TurnitinBot Disallow: /hide/ #Will disallow any url starting with /hide/ #This is an example robots.txt file User-agent: TurnitinBot Disallow: / #Will disallow all urls on your site Donc pour Turnitin, pas besoin du numéro de version. En effet, cette liste a été recopiée à partir d'un fichier robots.txt généré par un des meilleurs plugins pour WordPress. J'ai bien pris le temps de la vérifier Jean-Luc Link to comment Share on other sites More sharing options...
captain_torche Posted October 18, 2010 Share Posted October 18, 2010 J'ajouterai que le robots.txt n'est qu'un moyen de préciser ce qu'on ne veut pas que les robots fassent, mais qu'il n'est aucunement un système de blocage. En gros, si un robot malintentionné veut bien capturer l'intégralité de ton site alors que tu lui en interdis l'accès, il peut le faire malgré tout. De plus, indiquer dans le robots.txt les urls sensibles est dangereux : une personne malintentionnée pourrait s'en servir pour "deviner" facilement les urls de ces pages. Link to comment Share on other sites More sharing options...
Patrick Posted October 19, 2010 Share Posted October 19, 2010 Ce n'est véritablement pas les statistiques qui dérangent, mais deux autres choses : 1 - Certains robots recopient votre site et le télécharge vers un serveur ou un ordinateur. Ensuite, quiconque pourrait y faire des modifications et l'uploader comme s'il s'agissait de son propre site. Ainsi, vous vous aurez donné du mal (et peut être de l'argent) dans la conception et la réalisation de votre site, et qu'un voleur vienne dire que c'est le sien. Dans le cas des entreprises, c'est comme cela que le phishing se produit. Une personne ou un robot aspire une page de login ou un formulaire, modifie son code, et l'uploade sur une adresse qui ressemble à celle du site source. Cela peut également nuire à l'image des entreprises ou de faire passer des escrocs pour des entreprises qu'ils ne sont pas. 2 - Dans certains cas où le trafic et la bande passante sont limités, cela devient très très génant, surtout si le site internet pèse quelques giga-octets (des vidéos, ou des fichiers par exemple). En visitant le site, le robot les aspire en un coup. Il consomme votre trafic (qui est limité dans la plupart des cas), et ralenti les téléchargements par des personnes à qui vous autorisez l'accès à ces fichiers. Cela c'est sans parler de ce que peuvent contenir ces fichiers qui peuvent être des atouts de votre site, et qui peuvent se retrouver du jour au lendemain gratuits et libres sur la toile. Bonjour, toute cette argumentation est fausse, sauf en ce qui concerne la bande passante. Toute le reste peut être fait "à la main" donc robots.txt ou pas, rien n'empêchera un quelconque webmaster de reprendre le contenu de ton site et de se l'approprier, si telle est son intention. ++ Patrick Link to comment Share on other sites More sharing options...
Dudu Posted October 19, 2010 Share Posted October 19, 2010 Bonjour D'ailleurs, certains bots ne prennent pas la peine de lire tout le fichier robots.txt et se contentent des premières lignes. Qui sont ces "certains robots" ?Peux-tu nous communiquer ta source pour cette information ? D'avance merci Link to comment Share on other sites More sharing options...
Recommended Posts
Please sign in to comment
You will be able to leave a comment after signing in
Sign In Now