Liste de noms de robots

[hcplayer]

Bonjour à tous,

Je souhaite mettre en place un petit formulaire du type webmaster hub sur toutes les pages de mon site :

Connecté en tant que : hcplayer ( Déconnexion )

Enfin?vous voyez de quoi je parle

Cela nécessite bien entendu l'utilisation de sessions, et je souhaite la lancer (la session) après test sur le nom d'agent suivant en cela les conseils précieux que j'ai pu trouver sur ce forum

Maintenant, je ne suis pas un fin connaisseur en terme de bots, et j'aimerais savoir ou trouver une petite liste sur laquelle je pourrais faire ce test.

Merci de votre attention

[Fupap]

Bonjour

Tu as une liste ici

une autre

[Jeanluc]

Bonjour,

La liste de robotstxt.org n'est pas mise à jour très souvent. La version actuelle date de juin 2005. Celle de psychedelix.com est tenue à jour régulièrement et elle est très bonne qualité.

Voir aussi ma liste en français, en signature de ce message.

Jean-Luc

[hcplayer]

Parfait, merci beaucoup à tous les deux

pour ta liste jeanluc, je crois qu'elle va m'être utile !

Modifié 2 Décembre 2005 par hcplayer

[hcplayer]

Etant donné que c'est pas long, mais très chiant je poste la liste de jean luc sous forme de tableau php

array("AbiLogic","Accoona","AdSense","aipbot","Alexa","almaden","appie",
"Ask Jeeves","Baidu","baiduspider","BecomeBot","Bloglines","BlogPulse","Boitho","Camcrawler","Camdiscover",
"ccubee","Cerberian","cfetch","Combine","Cosmix","cuill.com","DataCha0s","dir.com","DTS Agent",
"Enfin","Everbee","Exabot","Exalead","Fast Search","FindLinks","genieBot","Girafa","Google","Google AdSense",
"Google Image","Googlebot","Googlebot-Image","Gossamer Links","grub","HenryTheMiragoRobot","Heritrix",
"ia_archiver","IBM WebFountain","ichiro","Jeeves","Kavam","Kosmix","Lapozz","Larbin","Link Valet",
"LinksManager Dead Link Checker","linksmanager_bot","LinkWalker","Local.com","LocalcomBot","LookSmart",
"Majestic-12","Mediapartners-Google*","MetaWeb Crawler","Mirago","MJ12bot","MMCrawler","mnoGoSearch",
"MSN Search","msnbot","MSNPTC","MSRBot","Mylinea","Nexen","NextGenSearchBot","NG","Nutch","Omni-Explorer",
"OnetSzukaj","oo-x","Orbiter","PHP version tracker","Picsearch","Poirot","pompos","Poodle","psbot","QweeryBot",
"Rambler","RedKernel","Rufus Web Miner","SBIder","seekbot","Seekport","SiteSell.com","Slurp","snafu","SOHU.com",
"SquidClamAV","StackRambler","SurveyBot","Teoma","tilman","TLink","Turnitin","Twiceler","Ulysseek","Voila",
"Voyager","Wadaino","Walhello","WebFilter","WebFountain","Whois Source","WiseNut","WorldIndexer","wwwster",
"Xenu","Xirq","Yahoo! Search","Yahoo-MMCrawler","Zeusbot","ZoomInfo","ZyBorg");

Encore merci !

[AntoineViau]

J'ai mis en place une méthode dynamique pour détecter les robots. Ca te permettra d'avoir une liste à jour en temps-réel. Inconvénient : les robots doivent impérativement lire le fichier robots.txt.

J'explique tout sur mon blog.

Dans le même ordre d'idée, fait une recherche sur RobotStat qui fait la même chose que moi mais de façon plus évoluée.

EDIT :

Suite à un transfert d'hébergement mal fini, le système était en rade quelques temps. C'est pour cela que les derniers passages n'ont pas été pris en compte.

Et pour faire quelques tests j'ai aussi appelé moi-même le fichier robots.txt, ce qui fait que mes visites ont été considérés comme celles d'un robot.

Antoine

Modifié 3 Décembre 2005 par AntoineViau