La maison est étroitement liée la famille Madiot, une des familles les plus riches de Port-sur-Saône au 19e siècle. Les Madiot, établis dans le commerce, tiennent leur fortune du développement de la ville et de tout le canton. Près de 2 000 bateaux par an passent à la fin du siècle entre les ports de la ville et celui de Conflandey.

En 1881, Gabriel Madiot, négociant en gros, décide d'acquérir une maison située Grande Rue pour y installer ses bureaux et un magasin. Il achète cette demeure à la famille Sauvage (meunier puis cafetier). Les terrains acquis comprennent une maison, une cour, un jardin et des vignes. Parallèlement à cet achat, il fait construire en face, des entrepôts. L'objectif de Gabriel Madiot est d'être idéalement situé dans la rue, artère principale de la ville, lieu où tout le canton vient pour s'approvisionner ; et ainsi d'avoir pignon sur rue.

La maison est aménagée avec un magasin en rez-de-chaussée et des bureaux. Les bâtiments dans la cour intérieure sont transformés en bureaux et en logements.

En 1895, les enfants de Gabriel Madiot reprennent l'activité familiale et ce jusqu'au moins dans les années 1940. La matrice cadastrale mentionne en 1940 l'occupation de la parcelle par les Etablissement Madiot, S.A.R.L (Société à responsabilité limitée) au capital de 1 800 000 francs.