Baigné d'un côté par la mer, le château de Pornic est construit sur un site défensif. Il était autrefois entouré d'eau des deux côtés.

Au milieu du Xe siècle, Alain Barbe Torte, Duc de Bretagne, fait de Pornic une place forte en faisant construire un château-fort en bois. Il est occupé par une garnison qui protège l'entrée de Pornic.

Au XIIIe siècle, il appartient aux seigneurs de Rais qui construisent un nouveau château en pierre. Le plus connu des seigneurs de Rais sera Gilles de Rais au XVème siècle qui n'y résida pas lui préférant le château de Machecoul.

A la fin du XVIIIe siècle, le château est la propriété du Marquis de Brie Serrant. Avec la Révolution française ses biens sont confisqués et le château tombe en ruine.

Au début du XIXème, Joseph Lebreton achète les vestiges du château et en fait un lieu de résidence.

A la fin du XIXème, c'est l'architecte nantais François Bougouin qui lui donnera son aspect actuel suite au travaux réalisés entre 1897 et 1899.