La villa est composée de différents corps de bâtiments dont la construction s'échelonne des années 1860 aux années 1900. Dès 1866, Marie Parizé fait bâtir une première maison (14 ouvertures) qu'il semble difficile d'identifier aujourd'hui. Elle pourrait avoir été détruite ultérieurement. Cette première construction n'en demeure pas moins intéressante car elle semble directement liée au développement de la route de Moulins-Engilbert à Luzy, qui traverse la commune selon un nouveau tracé (actuelle avenue du Général d'Espeuilles) et borde le quartier thermal. En 1875, Simone Parizé fait bâtir une deuxième maison (21 ouvertures) ; il s'agit du corps de bâtiment de gauche dont la façade sur l'avenue s'étend sur trois travées. En 1882, elle l'augmente en ajoutant le pavillon nord ; la villa compte alors 44 ouvertures. En façade du pavillon, le choix des armoiries (d'or, au palmier, au chef de gueules, chargé de trois étoiles) et de la devise ("fides et decus in armis") est difficile à expliquer. Léon Cottin, pépiniériste à Nevers, devient propriétaire de l'ensemble au début des années 1890. C'est à lui que revient la construction de la remise, transformée en logement vers 1905. Marie-Amélie Rampont, rentière résidant à Paris, acquiert la villa à la fin des années 1890. De cette époque date le jardin d'hiver bâti contre le mur nord du pavillon. La villa devient véritablement un hôtel de voyageurs au 20e siècle. Il est tenu par la famille Poulet, d'abord Jacques, marchand de vin en gros au bourg, puis Robert. Cette activité subsiste au moins jusqu'aux années 1980. Les cartes postales anciennes nomment l'édifice "Villa Sainte-Marie et Henry-Robert". Le nom "Villa Henry-Robert" est par ailleurs gravé sur une plaque en façade du pavillon.