La façade principale de l'immeuble, à trois étages carrés, a été reconstruite au milieu du 19e siècle. Mais l'analyse de sa façade postérieure montre qu'il était constitué à l'origine d'un logis en pierre de taille à un étage carré du 16e siècle avec baies en accolade. A une époque indéterminée (18e siècle), ce logis fut surélevé d'un étage, en moellon, avec des baies rectangulaires à meneaux moulurés, respectant plus ou moins le style de celles de l'édifice d'origine. Il fut, à nouveau, surélevé d'un étage en pierre de taille au-dessus de la corniche (avec des baies semblables à celles du second étage), probablement en même temps qu'était entièrement refaite la façade sur rue. Dans la 1ère moitié du 18e siècle, un hôtel fut bâti au fond de la première cour. En 1751, il appartenait à Denis-Ignace Mouret de Châtillon, président à mortier au parlement de Besançon, année où celui-ci demandait la permission de construire un bâtiment de remises et écuries sur un passage secondaire donnant rue de la Bibliothèque qui lui appartenait, augmenté la même année d'une autre parcelle contigue achetée aux demoiselles Borrey. Cette nouvelle acquisition, amplifiant la taille de son terrain, l'obligea à produire deux requêtes en voirie successives, la seconde, lui permettant de construire un portail d'entrée secondaire pour son hôtel, à gauche des écuries. C'est peut-être à la suite de cette nouvelle construction que les deux remises au rez-de-chaussée de l'hôtel (dont il subsiste les arcs en plein cintre des portes) furent transformées en pièces d'habitation. Les écuries et remises ont été vendues et transformées en garages dans le courant du 20e siècle et un autre garage bâti au fond du passage, privant ainsi l'édifice primitif de son issue secondaire.