L'existence de la maison-Dieu est attestée à la fin du 12e siècle grâce à un acte datant de 1193 ou 1194 qui eut pour témoins le maître des lépreux et le chapelain de la maison-Dieu. Celle-ci fut réunie à l'hôpital avant 1500. La façade antérieure et la charpente de la nef furent reconstruites au 16e siècle. D'après A. de Vaulabelle, une délibération du 17 décembre 1632 mentionne une église Saint-Ladre, logis des lépreux, qui nécessitait alors des réparations (Histoire générale de Semur-en-Aussois, 1927, p.74). Le 8 mai 1676, l'établissement fut rattaché à l'ordre de Saint-Lazare, pour finalement lui être enlevé à la suite de l'édit du 24 août 1693 ; par arrêt du 22 janvier 1694, il fut décidé que les revenus de la maladrerie seraient gérés par l'hôpital de Semur. Les bâtiments furent affermés, mais la chapelle continua à servir au culte. Le 24 avril 1827, le préfet confia sa restauration à l'architecte dijonnais Fénéon qui réalisa les "plans et devis des constructions et réparations à faire", sans que la municipalité en ait été avisée de sorte que celle-ci, de son côté, délibéra le 20 septembre suivant, de restaurer la chapelle. Lorsque l'architecte réclama le règlement des 198,59 francs qui lui étaient dus pour les plans et devis dressés, le Conseil municipal nia être au courant. Le 2 mars 1842, le Conseil de Fabrique prit la décision d'acheter la chapelle, alors propriété de l'hospice, au prix de 19 000 francs, afin de "satisfaire au voeu exprimé dans son testament par M. Lazare Gueneau d'Aumont d'être inhumé dans la chapelle Saint-Lazare". Le 28 novembre 1842, le Conseil municipal approuva la demande de la Fabrique d'ériger la chapelle Saint-Lazare en "chapelle de secours", la Fabrique ayant à sa charge, conformément au testament de L. Gueneau d'Aumont, "les dépenses que cette érection, le culte, l'achat et l'entretien du matériel pourront occasionner". Il en fut ainsi jusqu'à ce qu'elle serve de prison en juin 1940 : dans les années qui suivirent, son mobilier fut saccagé et enlevé. Peu de temps avant sa démolition en 1973, la chapelle fut étudiée (photographies et relevés) par le Service régional de l'Inventaire général : à cette époque, d'après l'abbé Marilier qui effectua les recherches historiques, il existait dans la ferme située à proximité "quelques pans de murs" qui semblaient être des vestiges de l'ancienne maladrerie. A l'occasion des travaux de démolition, la dalle funéraire de L. Gueneau d'Aumont (2 m x 1 m) fut mise au jour (épitaphe : ICI GIT LAZARE GUENEAU D'AUMONT, BIENFAITEUR DE CETTE CHAPELLE, DECEDE LE 16 JANVIER 1841).