Vers 1760-1765, François-Joseph Vorget achète au marquis de la Baume-Montrevel une propriété qui englobe la ferme au 7 rue du Vieux-Moulin (AL 186), longe la route en direction de Baume-les-Dames et franchit le Drigeon jusqu'à la rue des Juifs. En ne gardant que la ferme et la "maison de la porte" (AL 142), il fait construire un château appelé le "château moderne". A sa mort, la propriété passe à sa fille, qui a épousé le sieur Beaudot, puis à la famille Guillemin, riches propriétaires terriens de Rougemont. De cette époque datent au rez-de-chaussée deux cheminées en marbre blanc, dont le cartouche est orné de deux lettres enlacées (GG) et de la date 1872. Le château est vendu à la marquise de Moustier qui souhaite créer à Rougemont un hospice cantonal "ouvert aux malades, vieillards et infirmes habitant l'une des 31 communes formant actuellement la canton de Rougemont". Ce voeu est exaucé par son fils, René de Moustier, en 1893. En 1898, la propriété est coupée de la "maison de la porte" par la nouvelle route de Baume-les-Dames, construite sur une des parcelles cédée par la famille de Moustier. Grâce à un legs important de Charles Courvoisier, conseiller honoraire à la cour d'appel de Besançon, des aménagements intérieurs sont effectués par l'architecte Louis Garin, de Besançon, qui fournit le 26 octobre 1897 les plans d'un pavillon d'isolement avec service de désinfection situé à l'entrée de l'hospice, route du Vieux Moulin. Il désigne l'architecte Alphonse Burcey pour la poursuite des travaux. Le 28 décembre 1900 a lieu leur réception définitive en présence de l'entrepreneur Pégeot, de Rougemont. Le pavillon d'isolement (AL 273), à l'origine coiffé d'un toit à longs pans et pignon couvert, est dans la décennie 1950 agrandi par l'adjonction de deux travées supplémentaires. Au début des années 2000, il est vendu à des particuliers. A partir de 1892, la direction de l'hospice est assurée par les soeurs de la Providence de Langres. Puis de 1925 à 1973, les soeurs de la Compassion de Villersexel les remplacent à la tête de l'établissement. En 1972, l'hospice compte six religieuses qui accueillent 48 personnes. Après cette date, il devient une maison de retraite. Il est agrandi en 1996 par une aile en retour, qui abrite l'ensemble des résidents (au nombre de 50 en 2001). L'établissement, qui porte le nom d'EHPAD (établissement hospitalier pour personnes âgées et dépendantes), est géré par un conseil d'administration dont le maire est membre de droit. Le relief en résine qui orne le fronton de la façade antérieure est un don du professeur et mécène Jalat.