Mentionnée dès le 12e siècle, l'église de Gevigney-et-Mercey est dans un état de grande désuétude au 18e siècle. AInsi, elle est décrite comme trop exigüe pour recevoir l'ensemble des paroissiens Devant les plaintes de la population, l’archevêque donne son accord pour reconstruire un édifice. La nouvelle église est achevée en 1793.

Deux chapelles sont construites sur les villages de Gevigney-et-Mercey. Leurs présences semblent être attestées au Moyen Âge (Dictionnaire des communes) car elles sont dépendantes des seigneurs en place. La construction de ces édifices sont de leur initiative. Seule la chapelle située à Mercey existe encore ; elle servit notamment d'école au 19e siècle. La chapelle Saint-Georges de Gevigney, édifiée à proximité de l'école rue de Montgillard, a été détruite à la fin du 19e siècle.

Au bord de la route reliant Gevigney à Mercey, un oratoire est érigé en 1704. En forme de stèle, il dispose d'un fronton triangulaire, avec une niche abritant une statuette de Vierge à l'Enfant. Il est surmonté d'une croix en fer forgé. L'oratoire porte deux inscriptions : "cet oratoire a été relevé par Fr.Garnier et Barbe Parat sa femme", et un peu plus bas " A la dévotion d'Elizabeth et de Jacques Verdunet décédé l'an 1743 Requiescat in pace amen".

La construction d'un nouveau cimetière est autorisée par la préfecture en 1861. Situé autour de l'église, il est transféré sur une parcelle à la sortie du village de Gevigney en direction de Mercey. Les travaux sont confiés à l'architecte J.-B. Martin. La commune réceptionne le cimetière en 1864.

Le monument aux morts est érigé sur la place devant le parvis de l'église.

Plusieurs croix et calvaires s’élèvent sur le territoire communal. Deux d’entre elles sont à signaler : la première située à Mercey, rue de la Croix de Baulay, et la seconde à l'entrée de Gevigney depuis la route de Jussey.