Des bâtiments disparates, loués au 18e siècle à des particuliers ou servant de prolongement aux appartements du gouverneur de Franche-Comté situés dans le palais Granvelle et un passage couvert, bâti en 1542, enjambant la ruelle des Carmes, étaient situés le long de la façade latérale droite du palais Granvelle sur une bande de terrain donnée par la ville le 15 décembre 1534. Le passage est détruit en 1782 pour permettre l'élargissement de la ruelle des Carmes, sous la direction de l'architecte Claude-Joseph-Alexandre Bertrand. En 1783, ce dernier propose un projet permettant d'unifier, derrière une grande façade régulière, les bâtiments subsistants en aménageant des boutiques au rez-de-chaussée, mais ce projet n'aboutit pas. En 1892, la ville émet le souhait d'aliéner cet emplacement au profit de la Caisse d'Epargne ; il n'est pas non plus donné suite à ce nouveau projet. En 1932, une banque est finalement construite sous la direction de l'architecte Painchaux dont la signature est apposée sur l'une des entrées du rez-de-chaussée.