Cette chapelle de pèlerinage fut construite sur les plans de l'architecte Pierre Bossan, de 1863 à 1869 à l'instigation de l'abbé Gros, curé de Scey-en-Varais et de Théodore Grosjean, aumônier du couvent de la Visitation d'Ornans. Cette chapelle était destinée à abriter la statuette miraculeuse de la Vierge à l'Enfant découverte à proximité dans le tronc d'un chêne en 1803. La pose de la première pierre eut lieu le 12 juillet 1863, comme l'indique l'inscription à gauche du portail. Les travaux, conduits par l'architecte bisontin Ducat, né à Besançon le 27 avril 1827, mort le 19 mars 1898, ont été réalisés par Donay, entrepreneur à Ornans. La chapelle fut bénit le 3 août 1869. Une hôtellerie fut élevée à la fin du 19e siècle. En 1903, un chemin de croix complète l'ensemble comme l'indique l'inscription sur le socle de la croix monumentale : CROIX DE JERUSALEM/ RAPPORTEE EN FRANCE/PAR LE XXVeme PELERINAGE/DE PENITENCE/AUX LIEUX SAINTS/1903. En 1924, à l'appel du chapelain H. Daniel, une souscription est lancée pour élever une chapelle en plein air. Elle sera réalisée de 1925 à 1926. Le logement des chapelains attenant à l'église date du 20e siècle.