Situé place Maximin-Escalier, le château a été construit en 1437 par Antoine de Villeneuve, le seigneur du lieu. Depuis la Révolution Française, le château abrite la mairie.

Abandonné au XVIIIe siècle, vendu comme Bien National, pillé, dégradé, en partie ruiné, il ne lui reste que peu de choses de son ancienne splendeur, à part le superbe escalier Louis XIII à balustres et la tour-beffroi, construite au XIIe siècle. Sa transformation en bureaux, si elle a permis en quelque sorte de le sauver d'une ruine certaine, n'a pas permis de le préserver d'une espèce de banalisation architecturale et même de dégradations dans la modernisation (les murs d'époque en pierre de taille sont enduits de plâtre ou masqués par des panneaux de plâtre et les grandes salles sont cloisonnées en bureaux).