Construit sans doute au 16e siècle, cet édifice conserve de cette époque un linteau en accolade au-dessus d'une porte ouvrant sur l'ancienne grange (ou "grangerie"). Le presbytère ("maison curiale") est mentionné en 1676 dans un marché "pour la couverture de la maison curiale et grange", laquelle est réalisée par le charpentier Charles du Bois, originaire de Chassey-lès-Montbozon. L'escalier en vis, en bois et aux marches numérotées, qui dessert le premier étage et conduit au pigeonnier date peut-être de cette époque. Le 2 avril 1769, Jean Bonbarque (?) de Vesoul vérifie les aménagements réalisés au presbytère. Le 15 août 1778, des réparations urgentes sont effectuées "au couvert de la tour à neuf en tavaillon avec les lambris aussi à neuf". Durant la Révolution, le presbytère sert de maison commune. D'importants travaux d'aménagement intérieur ont lieu tout au long du 19e siècle, par l'architecte Clerc Fils (16 brumaire an 12, soit le 8 novembre 1803) et les architectes bisontins Elmeric (21 avril 1817) et F. Painchaux (30 octobre 1865). Le 14 mars 1927, l'agent voyer Jeanningros établit un devis de réparations, adjugées à l'entrepreneur Louis Pégeot, de Rougemont. En 1959, la façade ouest située dans la continuité des fortifications menaçant de s'écrouler, elle est abattue et remplacée par un mur pignon plaqué contre l'édifice. En 1988, des travaux sont entrepris à la toiture de l'édifice, qui permettent la découverte d'un pigeonnier. D'après un témoignage oral, la porte de la tour a été murée il y a 15 ans environ.