Le premier propriétaire de l'immeuble, probablement construit dans la seconde moitié du 18e siècle, se nommait Thirion ; il était aubergiste. En 1824, ses descendants vendent le bien à Jean-Philippe Noirot, ancien capitaine de la gendarmerie royale. Ce dernier est le premier propriétaire indiqué dans la matrice cadastrale en 1828. Les lieux sont décrits comme comprenant une maison, une cour, des remises, un jardin et un verger. Noirot va effectuer d'importants travaux, notamment sur la façade nord, lui donnant sa physionomie d'aujourd'hui. En effet, il fait combler la cour donnant sur la rue Royale. L'entrée actuelle date de l'époque de ces aménagements.

A la fin des années 1860, François Martelet, banquier et maire de Lure, acquiert le site puis le cède en 1872 à Auguste Harlem, notaire et maire de Port-sur-Saône. Au 20e siècle, la maison aurait servi d'octroi municipal (selon un témoignage oral) avant l'installation du centre de finances publiques.