Script crawl url

[boussole]

Bonjour,

Je cherche quelque part un script tout fait qui permettrait de crawler mon ancienne base de donnees. Donc en fait a partir d'un tableau et sous Easyphp, le script verifie si l'url est bonne et si oui il va visiter le site en recuperant les metas description et keywords. Puis le met dans un tableau

Tout ca automatique

Merci pour votre aide

A+

[Anonymus]

Tu peux nous présenter ton tableau, s'il te plait ?

[boussole]

C'est vrai que je n'ai pas le vocabulaire technique PHP , je parlais de tableau, une liste d'url dans une table Mysql. En fait la liste que je vais recuperer dans mon ancienne base en HTML

[Anonymus]

Ca fait rien. Tu veux récupérer tes anciennes urls ? Est ce que tu peux nous montrer sous quelle forme, dans quel format, (autre..) elles se trouvent ?

Et peux tu nous dire que faire une fois que tu as récupéré tes balises ?

(les afficher à l'écran, les stocker dans un fichier ? dans une base de données ??)

Anonymus.

[boussole]

Elles sont sous la forme normale http://www. dans une table.

Bien entendu de faire un test et d'eliminer les urls pourris qui ne repondent pas

Le top si elle serait stocker dans une table sous la forme "http","Title","description","keywords"

Merci de plancher sur mon pb

[boussole]

Ce script c'est bon j'ai trouve.

Sur le meme sujet de base de donnees.

Comment on fait une requete SQL pour trouver dans sa base des données des doublons ????

Merci

[forummp3]

tu l'as trouvé ou ce script ? j'en cherche justement un comme cela.

[Dan]

Comment on fait une requete SQL pour trouver dans sa base des données des doublons ????

C'est simple !

select id,count(*) as n
 from table_name 
group by id 
having  n > 1

Dan

[Régis]

Ce script c'est bon j'ai trouve. (...)

Bonjour boussole,

Je suis, aussi, intéréssé par ce type de script... Peux-tu nous dire où le trouver ?

Merci

[boussole]

Effectivement j'ai trouve un developpeur pour me le faire mais j'ai du payer, et j'ai cherche longuement... sans trouver

[boussole]

Merci Dan pour la requete doublon

[lorik]

Bonjour,

Pour le script permettant de récuperer le contenu d'une page web, j''étais tombé une fois sur un truc, j'avais essayépour voir, mais je plantais apache, alors...

a voir ici

a priori, c'est fait par un bon, donc ça devais plutot e^tre moi (très mauvais ), qui ne savais pas l'utiliser.

Si le coeur vous en dit...