L’histoire de ce bâtiment commence dans la vieille ville. Aux alentours du IX^e siècle, les moines créent le premier site: l’abbatiale Sainte-Marie en contrebas de la colline. Face aux différentes batailles et aux inondations du torrent Crûle, la création d’un bâtiment sur la colline pour se protéger est décidée. Initialement une chapelle puis, au fil des siècles, des bâtiments successifs sont ajoutés, dont des fortifications, elle acquiert son titre de «château». Il est inscrit monument historique par arrêté depuis le 3 septembre 1912.