Aller au contenu

Script crawl url


boussole

Sujets conseillés

Bonjour,

Je cherche quelque part un script tout fait qui permettrait de crawler mon ancienne base de donnees. Donc en fait a partir d'un tableau et sous Easyphp, le script verifie si l'url est bonne et si oui il va visiter le site en recuperant les metas description et keywords. Puis le met dans un tableau

Tout ca automatique

Merci pour votre aide

A+

Lien vers le commentaire
Partager sur d’autres sites

C'est vrai que je n'ai pas le vocabulaire technique PHP :blush: , je parlais de tableau, une liste d'url dans une table Mysql. En fait la liste que je vais recuperer dans mon ancienne base en HTML

Lien vers le commentaire
Partager sur d’autres sites

Ca fait rien. Tu veux récupérer tes anciennes urls ? Est ce que tu peux nous montrer sous quelle forme, dans quel format, (autre..) elles se trouvent ?

Et peux tu nous dire que faire une fois que tu as récupéré tes balises ?

(les afficher à l'écran, les stocker dans un fichier ? dans une base de données ??)

Anonymus.

Lien vers le commentaire
Partager sur d’autres sites

Elles sont sous la forme normale http://www. dans une table.

Bien entendu de faire un test et d'eliminer les urls pourris qui ne repondent pas

Le top si elle serait stocker dans une table sous la forme "http","Title","description","keywords"

Merci de plancher sur mon pb

Lien vers le commentaire
Partager sur d’autres sites

  • 2 semaines plus tard...

Ce script c'est bon j'ai trouve.

Sur le meme sujet de base de donnees.

Comment on fait une requete SQL pour trouver dans sa base des données des doublons ????

Merci

Lien vers le commentaire
Partager sur d’autres sites

  • 4 semaines plus tard...
Comment on fait une requete SQL pour trouver dans sa base des données des doublons ????

C'est simple !

select id,count(*) as n
from table_name
group by id
having  n > 1

Dan ;)

Lien vers le commentaire
Partager sur d’autres sites

Effectivement j'ai trouve un developpeur pour me le faire mais j'ai du payer, et j'ai cherche longuement... sans trouver

Lien vers le commentaire
Partager sur d’autres sites

Bonjour,

Pour le script permettant de récuperer le contenu d'une page web, j''étais tombé une fois sur un truc, j'avais essayépour voir, mais je plantais apache, alors...

a voir ici

a priori, c'est fait par un bon, donc ça devais plutot e^tre moi (très mauvais :P ), qui ne savais pas l'utiliser.

Si le coeur vous en dit...

Lien vers le commentaire
Partager sur d’autres sites

Veuillez vous connecter pour commenter

Vous pourrez laisser un commentaire après vous êtes connecté.



Connectez-vous maintenant
×
×
  • Créer...