La parcelle s'étend sur deux niveaux, séparés par un mur de soutènement. La demeure est composée de trois corps de bâtiments, d'une tour de plan circulaire sur l'angle et d'une tour de plan carré. Le corps sud-ouest est bâti en limite de parcelle. Les deux autres corps donnent en revanche sur les deux cours. À l'avant, une cour ouverte est séparée de la rue de L'Hâte par un simple muret ; la façade du castel est ainsi bien visible dans le paysage urbain, notamment depuis la rue des Caves. À l'arrière, une cour secondaire est située en contre-bas du mur de soutènement. L'édifice est principalement construit en granite du Morvan en partie extrait de la carrière de L'Hâte située à proximité, de marbre (au premier niveau de la tour) et d'andésite (aux deuxième et troisième niveaux de la tour). Les parties sculptées (chaînes, modillons, corniches et lucarnes) sont en calcaire. La variété des matériaux mis en œuvre révèle l'intérêt du propriétaire pour la géologie du Morvan, déjà perceptible à l'Hôtel du Parc. Elle donne à la façade une certaine polychromie, accentuée par l'utilisation de l'ardoise en couverture. Dans l'arrière-cour, des extensions ont été construites en béton et une passerelle (récente) permet d'accéder à la partie haute du terrain plantée de cèdres. La façade donne à la demeure une allure de château qui lui vaut son surnom ("castel"). Les deux tours, les formes extrêmement variées des baies (rectangulaires, couvertes d'arcs brisés, segmentaires, en plein-cintre ou en mitre, ou oculus) et certains éléments décoratifs (épi et crête de faîtage, chaînes, modillons, corniches et lucarnes) témoignent du goût du propriétaire pour l'architecture médiévale. La distribution actuelle n'est plus celle d'origine. On peut toutefois noter l'absence de mur de refend longitudinal et la présence de deux escaliers dans-œuvre. Le premier est un escalier droit, situé dans le corps sud-ouest à la jonction avec le corps central ; sa cage d'escalier est aujourd'hui l'entrée principale de l'édifice. Le second escalier est situé au nord. Dans certaines pièces, les planchers métalliques sont encore bien visibles. Ils sont composés de poutres, solives et entrevous en berceau segmentaire en brique.