MQBOT/Nutch-0.9-dev ?

[oxerrois]

Je viens de trouver dans mes logs ce robot (MQBOT/Nutch-0.9-dev) j'aimerais savoir à qui il appartient et à quoi il sert ?

Merci d'avance

Pierre

[monty]

A priori, il viendrait du département Computer Sciences de l'université de l'Illinois car il s'identifie comme venant d'ici : -http://falcon.cs.uiuc.edu (URL non valide)

et -http://cs.uiuc.edu et la home de ce département.

Il ont un programme de crawler MetaQuerier mais qui ne provient pas de "falcon", mais de : -http://metaquerier.cs.uiuc.edu/crawler/ et qui utilise MQbot comme User-agent.

Peut-être une version en dév. ?

[oxerrois]

Merci pour ta réponse.

[Dudu]

Salut

Ce qui est en développement n'est pas tant leur robot, mais la version de Nutch qu'ils utilisent.

Nutch est un programme open-source de robot crawler, très souvent utilisé.

Ici, visiblement, c'est une université qui l'utilise à des fins de recherche. Rien de très méchant, bien au contraire. J'aurais même tendance à trouver flatteur ce genre de visites.

Cette page (The MetaQuerier Project at UIUC) présente le projet, et le lien donné par monty t'explique leur protocole d'exclusion: c'est-à-dire une page légalement obligatoire sur les sites de robots (même chez Google: How do i block Googlebot) où on t'explique comment éviter d'avoir des visites de ce robot.

Mais pour ce cas précis, je pense qu'il n'est pas utile de bloquer: des robots universitaires il y en a des tonnes en circulation et ils ne sont pas malfaisants.

Psychedelix, qui est une mine d'infos sur les robots, le classe dans les catégories des crawlers simples, et ne l'a pas étiquetté comme "spam bot"