1636 : les visitandines quittent leur couvent de Champlitte pour Gray à cause de la guerre de 10 ans ; 1640 : achat de plusieurs maisons actuellement rue Victor Hugo pour y établir un couvent ; entre 1645 et 1648 : mise en état de maisons à l'usage du couvent et construction d un mur d'enclos ; 1657 construction d'une chapelle dédiée à saint Joseph ; 1681 : acquisition secrète de terrain pour agrandir le monastère ; 1682 : projets d'un nouveau couvent confiés au révérend père E. Bacquet, carme déchaussé ; 1684 : pose de la 1ère pierre et achèvement la même année de trois corps de bâtiments ; 1685 : fondations de la 4e aile jetées ; 1688 : achèvement du couvent ; 1706 achat d'un terrain de l'autre côté de la rue du commandant Cécile pour en faire un parc relié au jardin derrière le couvent par un souterrain ; pose de la 1ère pierre de la clôture du parc en 1707 ; 1792 dispersion de l'ordre ; 1800 vente du couvent pour en faire un immeuble de rapport ; destruction de la chapelle et des bâtiments sur rue avant 1817 ; en 1925 achat de l'ancien couvent par l'archevêché de Besançon pour en faire une école ; locaux occupés actuellement par le collège privé Jeanne d'Arc et le centre ménager rural Sainte-Marie