Le château constitue l'élément central de l'architecture de la commune ; les campagnes de constructions et de transformations qu'il a subis, notamment au 18 siècle, ont d'ailleurs souvent impulsés d'autres travaux, en particulier sur les demeures comme celle de la rue Derrière les Tours.

Le château de Gy :

Il s'agit de l'ancienne résidence des archevêques de Besançon. Au 11e siècle, les terres de Gy appartenaient aux comtes de Bourgogne. C’est au milieu du 13e siècle que l’archevêque Guillaume de la Tour fait édifier un nouveau château à l’emplacement de l’ancien. Toutefois, dès 1255, ce château est détruit par Jean de Chalons, suzerain d’Oiselay et d’autres gentilshommes. Après ces événements, le château est reconstruit et renforcé par les archevêques. En 1448, l'édifice est à nouveau restauré par Quentin Ménart de Flavigny qui y adjoint deux tours carrées : l’une flanquant la porterie au nord et communiquant avec le bourg et l’autre au sud entre les écuries et le logis. Vers 1500, l’archevêque François de Busleyden (1499-1502), qui réside à Gy, fait ajouter un corps de logis. Un plan de Gy en 1640 nous permet de connaitre l'aspect du château à cette époque. L'entrée se faisait alors au sud-est du château actuel, par une "grande cour d'entrée", sorte de basse cour dans laquelle se trouvaient des bâtiments de dépendance : grange, écurie, cave. Une enceinte ponctuée de 5 tours protégeait le château au nord.

Entre 1754 et 1774, le cardinal de Choiseul-Beaupré entreprend de faire du château un logis princier en y ajoutant des jardins et des parterres.

Le 23 janvier 1793, le château et ses dépendances son vendus comme bien national à Antoine Perrot, riche propriétaire puis, la commune le rachète et en fait une école de garçons.

Les demeures :

A l'exception de la demeure du 11 rue de Versailles , la majorité des demeures de la commune de Gy se trouve dans la partie haute de la ville, autour du château. La partie basse de la ville était en effet plutôt réservée aux activités commerciales.

Demeure rue Derrière les Tours :

En 1485, le bâtiment appartenait aux Jouffroy de Gonsans, une importante famille franc-comtoise. Jusqu’au milieu du 18e siècle, le bâtiment appartient à la famille de Ronchault-Saint Vandelin, puis à Albert de Loisy, à la charnière des 19e et 20e siècles. Au cours du 20e siècle, les Frères de Marie l’achètent pour y établir un juvénat (établissement de formation pour les jeunes se destinant à la vie religieuse) puis, le diocèse y installe une école d’agriculture.

La mention d'un édifice en 1485 à cet emplacement correspond assez bien à l'architecture de certaines parties de l'édifice : baies avec encadrements à baguettes croisées aux angles supérieurs, bases prismatiques des moulures, porte en anse de panier surmontée d'une accolade, fenêtre à linteau décoré d'une double accolade... Par ailleurs, les voutes sur croisées d'ogives de la cave ainsi que le décor des culots (visages sculptés) attestent également cette époque de réalisation. Le bâtiment actuel correspond donc selon toute vraisemblance à une construction de la charnière des 15e et 16e siècles qui a été largement remaniée au cours de la seconde moitié du 18e siècle, époque durant laquelle des travaux sont menés au château par le cardinal de Choiseul. La régularité des percements, organisés en travées, la présence de boiseries et d'une cheminée en marbre à l'intérieur de l'édifice témoignent de ce remaniement, tout comme la date de 1760, portée sur la façade nord.

Demeure du chemin de Bellevue :

Elle appartenait à la famille Buchet, qui est une des seules présentes dès le 15e siècle à Gy. Sur le cadastre napoléonien (1837), la construction est d'ailleurs mentionnée sous le nom de "Maison Buchet".

Il existait déjà une construction à cet emplacement à la fin du 18e siècle ; le plan de la ville levé en 1787 en témoigne. Des travaux de transformation de l’édifice d'origine sont probablement dus à Jacques-Bonaventure Buchet, maire et conseiller général, qui s’établit à Gy en 1809.

Au début du 20e siècle, Edouard-Désiré Buchet, maire de la commune, mène également une campagne de travaux sur l'édifice, qui lui donne son aspect actuel.