Je viens de tester ce matin sur cet outil:
http://www.webpagetest.org/test
Résultat: temps de téléchargement du code html 3,7s. Cela peut venir de 2 choses : hébergeur très lent (pas au niveau DNS en tout cas) ou page très longue à être générée. Si vous avez déjà des sites sur le même hébergeur, c'est qu'il y a un problème de génération (donc côté serveur, scripts php, ...).
A la fin du fichier HTML:
<!-- Dynamic page generated in 5.025 seconds. -->
<!-- Cached page generated by WP-Super-Cache on 2009-09-06 08:46:04 -->
Problème: le fichier n'est pas mis en cache assez longtemps (pourquoi pas 1 heure, voire 6?) car à chaque appel, la date de mise en cache change.