Les fortifications d'agglomération de Recey-sur-Ource auraient été construites à partir de 1587, après que le roi Henri III en eut donné le droit aux habitants de la cité par des lettres patentes du mois de juillet. Le lieutenant général du "baillage de la Montagne", Edme Rémond, se rend sur place le 4 septembre de la même année pour statuer sur cette requête et envisager l'ampleur du dispositif avec les habitants : trois tours-portes principales (à l'ouest, partiellement conservée, ainsi qu'au sud et à l'est), une poterne (au nord pour rejoindre les pâturages) et probablement un certain nombre de tours de tours de flanquement dont les vestiges de cinq sont encore visibles aujourd'hui. Ces ouvrages défensifs étaient reliés par un mur d'enceinte, qu'on dit haut d'au moins 4m et bordé d'un chemin intérieur, dont le nom de "grand mur" imprègne encore certaines rues. Une délibération du Conseil municipal de 1812 évoque la poterne, alors disparue ; une autre de 1840 mentionne les fossés, qui précédaient l'enceinte mais furent progressivement comblés et absorbés par des riverains à la fin de l'époque moderne. Au milieu du 19e siècle, lors de la création de la route de la vallée, le front sud des fortification est démoli. Cet ensemble destiné à protégé l'agglomération amena les habitants à s'endetter de 4.000 à 5.000 livres dès 1587 ; ainsi qu'à vendre des propriétés au début du 17e, pour payer les intérêts de cet emprunt, ruineux.