Louis Suchaux mentionne une église à Ray dès le 11e siècle. Toutefois, l'édifice actuel est du 13e siècle comme le prouvent les deux travées du choeur (l'une voûtée d'ogives, l'autre couverte d'un berceau brisé) et le chevet plat, qui manifestent l'influence de l'architecture cistercienne. Le 13 février 1341, Guy de Ray fonde un chapitre de six chanoines (à partir de 1389, le seigneur choisira le curé de la paroisse parmi eux). De cette époque datent sans doute les deux chapelles latérales : la chapelle seigneuriale (chapelle Saint-Jacques) au nord et celle des chanoines au sud. Toutes deux sont couvertes du même type de voûte sur croisée d'ogives, dont les nervures chanfreinées sont portées par des culots. Même datation également pour les baies du choeur, à remplage en pierre. Plus tard, au milieu du 16e siècle, la nef est reconstruite comme en témoignent les dates portées : 1550 sur l’arc doubleau entre les 2e et 3e travées de la nef, 1562 sur une niche qui précède le choeur au nord et 1585 sur le bénitier, déplacé au rez-de-chaussée de la tour-clocher. Les trois travées de la nef sont voûtées d'ogives et séparées par un doubleau brisé. Au 18e siècle, le clocher menaçant ruine, sa reconstruction est envisagée. L'architecte Pierre Girard en dresse les plans le 16 mai 1768. Les travaux sont adjugés à l'entrepreneur Michel Morton, de Soing (Haute-Saône). Le devis précise que le clocher doit être couvert de tuiles plombées de quatre couleurs "de noire, de la jaune, de la verte et de la rouge. Elles seront posées en compartiment en brin de bruyère." La réception des travaux a lieu le 11 novembre de la même année.

Au cours du 19e siècle, l'édifice subit d'importantes transformations dues aux curés successifs. Patrick Boisnard, auteur du dossier de protection MH, les énumère : la toiture est réparée en 1861 (devis de l'architecte Maillot, entrepreneurs Etienne Arnoux et Jean-Pierre Curtet) ; une nouvelle horloge est mise en place le 18 août de la même année (Ungerer Frères, Strasbourg) ; l'oculus du clocher est fermé en 1868 (date portée) par un vitrail offert par le curé Jolyot ; le curé Quirot, présent de 1866 à 1872, fait restaurer le pavage, dresser les pierres tombales le long des piliers dans la première travée de la nef et, certainement, remplacer les bancs ; l'abbé Villeret (1872-1882) fait modifier le choeur sur les plans de l'architecte Christophe Colard, en ouvrant "les baies murées et [découvrant] l'oculus du ciborium". Une baie (murée) au sud de l'édifice est le témoin du projet de cet abbé de construire une deuxième sacristie. Les abords de l'église ont été aménagés en 1994 et l'édifice a été protégé au titre des monuments historiques le 17 mars 2014. Le mobilier comporte des oeuvres remarquables (notamment une Mise au tombeau), recensées par le conservateur des antiquités et objets d'art de la Haute-Saône, Jean-Louis Langrognet, et aussi protégées au titre des Monuments historiques. A noter que la chapelle seigneuriale possède un autel-retable du 18e siècle identique à celui de la chapelle du château (attribué à Jean-Pierre Galezot) et des bancs marqués des armoiries de la famille de Marmier.