Le manoir fut construit selon le modèle d'un prieuré breton. Il appartenait à René Millet, un architecte qui avait conçu les plans et possédait des terrains en bord de mer où il planta de nombreux arbres. En témoigne encore les quelques pins couchés par le vent.

Le bord de mer se situait alors plus loin de la batisse, il y existait également une maison devant le manoir, entourée d'un grand jardin directement situé sur le cordon dunaire. La grosse tempête de 1916 détruisit la maison et la mer gagna sur la terre venant lécher le manoir de l'Ermitage. La pointe du Bien, nommée ainsi avant la Révolution disparut à cette occasion.

Aujourd'hui le manoir appartient au camping de l'Hermitage des Dunes.

* Extrait du livre de Monique Albert "Flâneries aux Moutiers-en-Retz".