En remerciement à la Vierge pour avoir épargné les habitants de Rougemont du choléra, l'abbé Claude Joseph Mourand, curé de Rougemont de 1824 à 1865, décide d'élever avec l'aide des habitants une chapelle en l'honneur de Notre-Dame. Les plans sont demandés à l'architecte bisontin Francis Painchaux (1825-1871). La chapelle est bénite le 25 juin 1855 comme l'indique une pierre insérée sur la façade antérieure de l'édifice. Celui-ci est dominé par une statue de la Vierge de l'Immaculée Conception, en fonte dorée, offerte par la municipalité à la suite d'une délibération le 6 mai 1856. Du 13 au 15 août 1955, l'abbé Gauthier organise des festivités pour le centenaire de la chapelle comme le rappelle la plaque en tôle émaillée fixée sur le portail. Le 27 février 1987, le conseil municipal décide la restauration de l'édifice. Les travaux sont confiés à une entreprise locale, Rougemont Entreprise.