Le château est situé au sud du village de Chitry-les-Mines, sur un éperon rocheux dominant l'Yonne. "Le corps de logis, agrandi au 17e siècle, comprend aujourd'hui sur un niveau de soubassement, deux étages éclairés par de larges fenêtres. [...] A la même époque, à l'emplacement des fossés comblés et des courtines furent bâties deux ailes en retour d'équerre moins élevées que le bâtiment principal. Flanquées de deux tours au S, elles encadrent une vaste terrasse qui domine l'Yonne [...]" (F. Vignier Dictionnaire des châteaux de France, Bourgogne, Nivernais, Berger-Levrault, 1980). Tout l'étage de l'aile Ouest est occupé par la galerie des Sibylles constituée d'une série de quatorze toiles du 17e siècle.