Ferdinand, marquis de Grammont, propriétaire de la Maison Desgranges et constructeur de l'hôpital qui porte aujourd'hui son nom, est propriétaire du terrain jusqu'en 1880. Il le vend à cette date à Charles Chauvet, négociant à Paris puis rentier à Luxeuil-les-Bains. Le nouveau propriétaire fait construire une grande demeure (53 ouvertures) entre 1881 et 1883. Son nom ("Villa du Châtigny") s'explique par la présence d'un bois de châtaigniers à son emplacement. Les communs situés au sud, à l'entrée du domaine depuis l'actuelle rue Sainte-Anne, doivent être contemporains. Ils comprennent un premier groupe de trois bâtiments disposés autour d'une cour et comprenant une écurie, une sellerie et une remise ; un autre bâtiment abrite une seconde écurie au rez-de-chaussée et un logement à l'étage. De cette époque date également deux autres édifices qui sont des dépendances. La "maison de jardinier" à 7 ouvertures (vers 1883) est construite sur la même parcelle (C 116) au nord de la demeure principale. La "maison" à 9 ouvertures (vers 1884) construite sur une parcelle voisine (C 110) doit être quand à elle l'édifice bâti à l'angle sud-ouest du parc et donnant sur la rue de Grammont, peut-être la maison d'un gardien. En 1891, Charles Chauvet propose de construire un bâtiment pour le casino, jusqu'alors abrité dans le Salon Monnier qui menace alors ruine. Il tente de rallier les habitants à sa cause en faisant distribuer un "avis" et une "circulaire" imprimés dans lesquels on apprend qu'un plan a déjà été dessiné et qu'il est exposé dans la "vitrine Pattegay". La proposition n'est pas retenue, et le casino est transféré dans la Maison Desgranges en 1895. Sa veuve et son fils deviennent propriétaires de la demeure à la mort de Chauvet en 1892.

La demeure et ses dépendances sont vendus par Madame Chauvet en 1918 pour un montant de 100.000 francs. Le nouveau propriétaire, Péquignot, la cède immédiatement tout en conservant les bois situés à l'est. Les bâtiments passent successivement à Marie-Honoré Mangel, négociant à Cornimont (Vosges), puis à Alfred Colle, industriel dans le domaine de la filature et député de la Haute-Saône de 1898 à 1902. Alfred Colle souhaite transformer le "château" en "maison de cure" et s'adresse à l'architecte Albert Salomon, de Belfort. Plusieurs dessins (30 J 160) correspondent à des projets d'aménagement de chambres à coucher non seulement dans la demeure principale et la "maison du jardinier" mais aussi dans les anciennes écuries, entre mars et octobre 1924. Le revenu net de la demeure principale est évalué à 15.000 francs par an, celui des deux annexes à 3.750 francs chacune. Le parc s'étend à cette époque sur deux hectares. La direction médicale de l'établissement est assurée par le docteur Louis Pierra. La présence d'une "source thermale" est attestée au nord de la villa, d'après un plan (30 J 160). Le jardin qui s'étend devant la façade principale jusqu'à la rue de Grammont est agrémenté d'une petite rivière et de deux bassins circulaires.

Le domaine est acquis par Anna Gould, duchesse de Talleyrand, en 1927. Riche héritière américaine, elle est d'abord l'épouse de Boni de Castellane de 1895 à 1906 avant de se remarier à Hélie de Talleyrand-Périgord en 1908. Lors de ses premières cures à Luxeuil, elle séjourne au Moden Hôtel. D'après Desgranges (1993), l'achat de la Villa de Châtigny entraîne des travaux à l'intérieur, mais les séjours de la duchesse de Talleyrand à Luxeuil semble avoir été rares. En 1947, la demeure est vendue à Monsieur et Madame Gebs, auparavant propriétaires d'un hôtel à Franchevelle incendié par l'occupant allemand pendant la Seconde Guerre mondiale. Ils y ouvrent un hôtel de 24 chambres, dont l'activité cesse dans les années 1960. La Villa du Châtigny est aujourd'hui une demeure de particuliers.