Sur le site d'une ancienne maison forte du 13e siècle abandonnée puis démantelée en 1421 par la duchesse Marguerite de Bourgogne pour servir à la construction des fortifications de Rouvres-en-Plaine (rasées depuis), la famille de Baissey fit édifier un château qui était achevé en 1539. Le plan général de l'édifice et sa chapelle remontent à cette époque. Mais la transformation la plus spectaculaire fut réalisée de 1757 à 1761 par l'architecte Nicolas Lenoir Le Romain pour la famille de Berbis : ouverture de nouvelles baies, placage en façade d'un décor de guirlandes en stuc, remplacement des anciens escaliers en vis, modification totale des dispositions intérieures du corps central. L'ensemble fut restauré au 19e siècle (réfection des lucarnes des tours en style néo-gohthique) (Françoise Vignier, Dictionnaire des châteaux de France : Bourgogne, Nivernais, Paris, Berger-Levrault, 1980, p. 185-186).