La tour d'escalier en façade ainsi que les linteaux en accolade permettent de dater la partie la plus ancienne de la maison du 15e siècle. Elle semble avoir subi toutefois d'importantes transformations dès l'époque moderne, ce dont témoignent les linteaux délardés en arc segmentaire de la seconde moitié du 18e siècle ou de la première moitié du 19e siècle. D'après Georges Dinant, la maison serait mentionnée dans le terrier de 1664. Elle figure sur le cadastre ancien dit napoléonien (1836) et sur le plan d'alignement de la commune (1842). Elle correspond au n°4 de la rue du Pont et n°2 de la rue de l'Enfer. Elle est alors la propriété du marchand Claude-François Calley l'Aîné (entrée sur la rue de l'Enfer) qui possédait également le jardin de l'autre côté de la rue en bord de Saône, et Claude-François Calley (entrée sur la rue du Pont). La maison reste dans la famille jusqu'en 1863. L'écu portant la hache à bûcher n'est peut-être qu'un ajout tardif, datant de l'époque où la maison appartenait au menuisier Jacques-Augustin Barbert, entre 1915 et 1928. À cette époque, la Maison E. Paulmard, qui possède les maisons suivantes, occupe également le rez-de-chaussée de la partie de la maison donnant sur la rue Armand Paulmard. Une carte postale ancienne montre la devanture d'un de leurs magasins. La porte-fenêtre et le balcon surmontant la façade sud sont des ajouts tardifs (vers 1930).