L'édifice figure sur le plan du cadastre ancien dit napoléonien (1827) ce qui en fait l'une des plus anciennes villas thermales de Luxeuil. Elle appartient alors à Marie-Louise Froidot. Les listes des étrangers de l'époque révolutionnaire (311 E dépôt 314) confirment que la veuve Froidot est ponctuellement l'hôte de curistes, qui sont tous des militaires, à partir de l'an VIII (1799-1800). L'édifice, qui se présente comme un hôtel particulier entre cour et jardin, pourrait n'avoir comporté à l'origine qu'un seul étage. Sa construction doit dater du dernier quart du 18e siècle ou du premier quart du 19e siècle, d'après le style de la façade ouest. À la fin des années 1830, la demeure devient la propriété de l'avocat parisien Auguste Robert et de son épouse Catherine Émilie d'Azincourt. Elle est le lieu de villégiature de la princesse Mathilde, nièce de Napoléon Ier et cousine de Napoléon III, en cure à Luxeuil dans les années 1850. Des travaux d'agrandissement sont conduits à la fin du Second Empire. Ils pourraient correspondre à l'ajout du second étage, puisque l'on passe de 42 à 54 ouvertures. Autour de 1870, il est acquis par Jean-Baptiste Jules Arsène Ganeval, ancien employé à la forge de Semouse (Vosges) devenu maître-d'hôtel, qui lui a laissé son nom ("Maison Ganeval"). Son fils, Gabriel, commandant de brigade d'infanterie, lui succède en 1899. Dans un guide de 1892, la demeure est présentée comme une "maison meublée" fréquentée par l'élite des curistes : "La maison meublée Ganeval est située à l’entrée de la rue appelée, aujourd’hui, rue Marquiset. Elle est à proximité des thermes et placée sur une hauteur d’où l’on jouit d’un beau panorama et d’où l’on aperçoit la gare et le plateau dit Camp de César. C’est une vaste et proprette construction renfermant des appartements spacieux, commodes, et attenant à un très grand jardin ombragé où l’on respire un air pur et vivifiant. [...] La maison Ganeval jouit d’une renommée bien méritée et les nombreuses personnes d’élite qui y séjournent chaque année emportent, à leur retour, de madame, de M. Ganeval et de leur personnel, le souvenir le plus sympathique, j’allais dire le plus affectueux." Dans les années 1920-1930, l'édifice est une pension de famille appartenant à la veuve Darotte de La Vasselais comptant une vingtaine de chambres. Il est connu sous le nom d'Hôtel de la Terrasse après la Seconde Guerre mondiale. L'édifice devient un immeuble à logements au début des années 1970.