Le sanctuaire marial existe au moins depuis le 17e siècle. La première chapelle aurait été détruite pendant la Guerre de Trente Ans. Une légende locale fait de Jean de Rupt son fondateur. Ce dernier aurait placé dans une niche creusée dans le tronc d'un vieux chêne, près de cette chapelle, une statue de la Vierge ; le chêne serait alors devenu un lieu de pèlerinage. Le terrain sur lequel il est situé appartient aux propriétaires successifs du domaine du château, bien qu'il soit situé à l'extérieur du mur d'enceinte. La croix monumentale est érigée par le comte Ferdinand O'Gorman, propriétaire à partir de 1899. C'est en revanche la famille Bresson, propriétaire du château après la Première Guerre mondiale, qui fait ériger un faux tronc d'arbre en ciment pour remplacer le vieux chêne primitif détruit dans un incendie accidentel en 1928. Le tronc est exécuté par un artisan d'origine italienne installé à Traves. Il est inauguré par la communauté paroissiale le 15 août 1929.