Bonjour Licorne
Déjà, il serait bon d'en savoir un peu plus sur le site. Voir même d'avoir un lien pour le visiter.
Il est possible que ton site ait été victime de trop nombreux "backlinks" de mauvaise qualité suite à un référencement à tout va sur de nombreux annuaires et sites de mauvaise qualité.
As-tu régulièrement fais des échanges de lien ? Car Google aime de moins en moins ça.
As-tu essayé de créer ton profil google plus, et de l'associer à ton site internet ?
Quel était ton trafic avant ta chute ?
Concernant ton changement de serveur, c'est faisable, mais proprement : mise en place d'une redirection permanente sur le premier site, tu évitera le duplicate content.
Et ensuite, et bien publier régulièrement du contenu de qualité, développer ta communauté via les réseaux sociaux (facebook, twitter, G+, viadeo, linkedin, etc ...), car les réseaux ont désormais un impact sur le référencement d'un site.
Bref, du boulot en perspective ...
Bon courage