Un ermitage fut implanté à l'ouest de Purgerot dans le "bois des charmes". L'établissement religieux aurait été fondé au 11e siècle. Une chapelle fut érigée sous le vocable de Saint-Jean de Réomé en 1232. Un accensement (concession) datant de 1396 précise que la chapelle est placée sous l'autorité d'un ordre monastique de l'Ordre de Saint-Benoit. Dépendante de l'abbaye de Moutier-Saint-Jean (actuelle Côte d'Or), le grand vicaire de Besançon décida de confier l'établissement au monastère de Morey en 1697, car le religieux en charge du lieu n'y résidait pas en permanence. Les guerres successives et l'éloignement de l'abbaye de Moutier-Saint-Jean n'avaient pas favorisé la vie religieuse de l'établissement. En 1703, l'abbaye de Morey réussit à installer un ermite malgré la présence d'un chapelier séculier qui s'était approprié le site alors abandonné. Au cours de la première moitié du 18e siècle, plusieurs ermites vont se succéder sous l’autorité du monastère de Morey, en respectant l’ordre de Saint-Benoit. A partir de 1764, l'ermitage est affermé à un laïc. A la Révolution, l'établissement est vendu comme bien national.

A la sortie du village, en direction d'Arbecey, se dresse une chapelle construite au début du 19e siècle probablement en mémoire de cet ermitage. La pierre gravée surmontant le portail pourrait provenir de l'ancienne chapelle. En 1930, l'ancien ermitage a servi de carrière pour construire une maison dans un village proche de Purgerot. Actuellement, seule la fontaine Saint-Jean subsiste.