Faire des stats sur les mots-clés et liens

[Sebastien]

J'essaie de faire des études de la distribution des mots-clés en fonction du nombre de mots les composant, et de la distribution du trafic en fonction des mots-clés histoire d'apprécier l'effet de "longue traine"... Le hic c'est que mes données représentent plus de 36000 lignes, avec 2-3 colonnes voire plus, et Calc rame à mort, et il me semble qu'avec Excel ce ne serait pas mieux.

Il faut des outils spécialisés dans ce cas ? Il faut passer par de la programmation ?

[tankia]

Je vais peut être dire une bêtise, mais ce ne serait pas plutôt la puissance de l'ordinateur que tu utilises qui ne serait pas assez grandes ? Plutôt que la capacité de calcul des logiciels Excel ou Calc.

[monty]

Il faut des outils spécialisés dans ce cas ? Il faut passer par de la programmation ?

Il y a sans doute des applications particulières pour traiter de gros volumes de données (à la manière de LTFviewer pour les fichiers textes de plusieurs giga) mais j'avoue que je n'en connais pas.

Le plus simple est sans doute de passer par un petit script développé pour l'occasion (Python, Perl...), avec quelques lignes tu dois avoir moyen d'extraire les données qui t'intéresse.

[Sebastien]

Bah j'ai un Athlon 2500+ et 1 Go de RAM ça devrait convenir non ? Là ça lagge au point que les applis ne répondent plus, alors je me demandais si ça venait des capacités de ces logiciels.

[jnj]

en maths informatique on dit que la "complexité" de ton algorithme, au sens logique de Hoare, est infinie et elle envoie bien sur ton PC dans les choux sous la forme d'une boucle quasi infinie

(au vu des symptôme que tu décris)

en clair, si tu change ton PC par un 2 fois plus puissant, ben tu repousses un peu le problème

tu changes pour Excel : tu repousses peut être le problème car peut être que Excel est mieux fait

le problème vient de ton approche.

Les tableurs calculent toujours tout à chaque manip : insertion, retrait, modif etc. Normal, c'est la fonction d'un tableur.

ce que tu décris est une problématique de :

- structurer les données collectées : id page, qui , date etc.

- les indexer, les trier : par page, par internaute identifié etc.

- lancer des recherches mono ou multi-critères dessus. Exemple : quels sont les mots clefs saisis par les internautes ayant regardé cette page sur le dernier mois ? etc.

bref, d'assembler 3 approches algorithmiques connexes et complémentaires pour focaliser les ressources de ton Pc étape par étape pour obtenir tes réponses.

ton besoin doit donc être géré via par exemple du MySQL, de l'admin de base de données (clef, index ...) puis du script php par dessus

j'espère que mon post n'est pas trop complqiué sinon envoie un mail via MP

bonnes stats

[Sebastien]

Merci pour ces infos. Effectivement être capable de manipuler PHP et SQL serait bien utile dans mon cas... quoi qu'il ens oit j'ai quand même réussi à me débrouiller avec Excel, voici le résultat : http://s.billard.free.fr/referencement/ind...ine-en-pratique