Une église Saint-Symphorien existait dès le 11e siècle à Gy.

Après la conquête française, la législation forestière issue de l’ordonnance de Colbert est appliquée. Ainsi, la vente des « quarts de réserve » (le quart des bois des communes, des hospices et autres établissements publics, qui doit être distrait pour croître en futaie) permet aux communes de se doter de nouveaux équipements tels que des mairies, lavoirs… au 18e et 19e siècle. De nombreuses églises sont également reconstruites à la même époque, c'est le cas de celle de Gy au cours du 3e quart du 18e siècle.

Des plans de la ville en 1640 nous permettent de connaitre le plan au sol de l'ancien édifice, qui était assez proche de celui de l'édifice actuel. D'autre part, à cette époque, le cimetière se trouvait autour de l'église, au nord en particulier ; il n'a été transféré qu'à début du 19e siècle. Au sud-ouest de l'édifice, deux parties du cimetière étaient respectivement réservées aux pestiférés et aux charbonniers. La sacristie se trouvait au nord-est de l’édifice et le bâtiment était quasiment accolé à l'enceinte urbaine ; seule une petite bande de terrain permettait sans doute l'accès aux fortifications. Au sud-ouest de l'édifice, existait une petite chapelle saint-Roch. L’édifice, lourdement endommagé pendant le siège de 1640, avait été repris à la fin du 17e siècle (clocher). Une des particularités de l’ancienne église était son « revestiaire », vaste chapelle latérale servant de chambre forte, de sacristie et de salle de réunions pour le Magistrat.

L’édifice actuel a été reconstruit entre 1769 et 1774 par le maitre maçon bisontin Michel-Antoine Tournier, sur les plans de l’architecte Henri Frignet, architecte des Ponts et Chaussées suite à une décision de 1765. Le plan est inspiré de la basilique romaine ; ce parti architectural s’était déjà exprimé quelques années plus tôt à Paris, à Saint Philippe du Roule en 1764.

Les éléments de décor en stuc ont été dessinés par Charles Colombot. Le baldaquin du chœur porté par quatre colonnes corinthiennes a été réalisé par le doreur bisontin J. B. Deschamps et dessiné par Jorin de Nancy. Les deux autels latéraux ont été aménagés en 1792. La chaire, en forme de « bonbonnière », est l’œuvre du gypseur Charles Marca de Besançon. Le socle est du à Claude Perron, tailleur de pierre de Gy. Au dessus du portail d’entrée, se trouve une crucifixion en bois polychrome du 17e siècle (classée Monument Historique depuis 1968) ; à droite de l'entrée, s'élève une cuve baptismale sur pied torsadé à socle hexagonal du 15e siècle. Au fond de la nef, sur le côté droit, un tableau du 4e quart du 16e siècle représente le Rosaire ; il est également protégé au titre des Monuments Historiques depuis 1959. Un calice et une patène datant du 3e quart du 18e siècle sont conservés dans la sacristie (classés Monuments Historiques en 1968). D'autre part, un retable provenant de l'église et présentant des épisodes de la vie de la Vierge était conservé au musée de Gray dans les années 1980.

Le chantier de l'édifice actuel a été achevé par les Colombot. Ces architectes ont beaucoup travaillé à la reconstruction d’églises dans le département ; l’architecte bisontin J. Ch. Colombot a en effet fourni à lui seul plus de 40 plans d’églises en Haute-Saône. Ainsi, à l’instar de nombreuses autres églises du département - environ 80 sont en reconstruction entre 1770 et 1780 - le chantier de celle de Gy débute en 1769. La première pierre est posée par le cardinal de Choiseul. Pendant les travaux, les offices ont lieu dans la chapelle Sainte-Croix, située à l’angle de la Grande rue et de la rue du Conroy.

L'ancien clocher du 17e siècle a été conservé lors de la reconstruction de l'édifice à cause d’un manque de finances en cours de projet.

Cette église est placée sous le vocable de Symphorien, saint décapité à Autun le 22 août vers l’an 180.

Le parti architectural de l'édifice, très moderne, en fait un fleuron du patrimoine de la Haute-Saône.