La chapelle, sous l'invocation de Saint Jean-Baptiste et de sainte-Claire, est une construction qui daterait de 1664 d'après le dictionnaire des communes de la Haute-Saône. La présence d'un édifice religieux dans le hameau est liée à l'existence d'un château. Cette construction est probablement due à la volonté des seigneurs de Mercey de disposer d'un lieu de culte à proximité de leur résidence. Sa situation, au centre du bourg, laisse supposer que les habitants de Mercey l'ont utilisée pour certains offices. En effet, l'église paroissiale de Gevigney - dont dépend Mercey - est décrite au 18e siècle, comme trop exigüe pour accueillir l'ensemble des paroissiens ; il est donc plausible que cette chapelle ait servi de succursale pendant un temps donné comme ce fut certainement le cas au moment de la reconstruction de l'église.

Abandonnée à la Révolution, la municipalité décide d'y installer une école en 1819. Un enseignement scolaire était dispensé à Mercey mais dans des conditions précaires : la commune louait une chambre dans une maison. La mairie charge l'architecte Pambet de réaliser les travaux d'aménagement de l'ancienne chapelle. Il propose de transformer les lieux en créant deux salles de classe et une salle de réunion ; les travaux sont estimés à 3 113 francs. La commune accepte le devis et réalise les travaux.

Des aménagements successifs sont réalisés pour créer dans le bâtiment des chambres et des cuisines afin d'y loger les instituteurs. Le conseil municipal fait appel aux architectes Loiselot en 1836, puis à Jasseron en 1846. J.-B. Martin, architecte, réalise, en 1860, un devis instructif et estimatif accompagné de plans pour l'installation de portes et cloisons pour réorganiser la circulation à l’intérieur de l'école, le but étant de lutter contre le froid et d'éviter que les enfants aient accès aux logements des enseignants. La mairie accepte ces travaux, ce qui permet la création de vestibules. L'architecte, le maire et l'entrepreneur retenu signent le procès-verbal de réception définitive des travaux le 21 novembre 1862. Ce même Martin est chargé par le conseil municipal des travaux de restauration du campanile et de transférer la cuisine à la place d'une des chambres et vice-et-versa. Une délibération du 5 mai 1867 reconnait la grande utilité de ces réparations, et par conséquent, les élus approuvent l’ensemble du projet établi par l'architecte.

Devant faire face à une diminution de la population, la commune décide, en 1878, de regrouper les classes en une seule, mixte.

La municipalité entreprend en 1885, un projet d'établissement d'écoles sur son territoire. Ce projet concerne les écoles des deux localités. Les travaux sont confiés à l'architecte Charles Desgranges qui propose de transformer l'école de Mercey en école enfantine (maternelle). Il constate que les écoles de Mercey et de Gevigney ne sont éloignées que de 900m. Le projet de l'architecte s'appuie sur l'agrandissement des écoles de filles et de garçons sur Gevigney. Enfin, l'acquisition, en 1883, d'une parcelle mitoyenne de la chapelle permet l'aménagement d'un jardin et d'une cour de récréation avec un préau. Le projet global est validé par le conseil municipal et la préfecture le 24 juillet 1885. Ainsi les travaux à Mercey consistent à supprimer les deux salles pour n'en aménager plus qu'une, d'une capacité d'accueil de 44 enfants.

Actuellement, la chapelle n'a pas d'affectation. L'édifice a perdu son clocher, remplacé par un campanile.