Au début du 15e siècle, comme la ville haute, la ville basse est entourée de murailles et trois portes y donnent accès.

Vers 1470, suite aux conflits entre le roi de France et le duc de Bourgogne, l’archevêque Charles de Neuchâtel décide de construire six tours neuves autour de la ville haute de Gy. Les habitants de Gy et des environs sont chargés d’en construire trois sur les six. Toutefois, les habitants protestent car ils ont déjà la charge de la défense de la ville basse, mais, finalement, les tours sont construites. Aujourd’hui, seule l’une de ces six tours subsiste.

Après le rattachement de la Franche Comté à la France à la fin du 17e siècle, les murailles de la ville disparaissent petit à petit et les fossés sont mis en vente en 1705. Ces transformations permettent aux habitants de réaménager leurs habitations et jardins, c'est le cas par exemple la résidence des « Terrasses », rue du Bourg.

Dans la ville basse, dans les années 1860, au moment de la réalisation des travaux sur la fontaine de la Grande Rue, la porte dite de la Choye ainsi que des prisons situées au nord et des maisons situées sur la Place des Écuries sont détruites.