Une première chapelle dédiée à sainte Anne est attestée sur le site au 18e siècle. Vendue à la Révolution, elle est transformée en habitation et son dernier propriétaire la détruit afin de planter de la vigne sur le terrain, d’où le nom du lieu-dit : Vignes Sainte-Anne. Par un testament en date du 25 juin 1865, F. Paissel fait don de ce terrain à la fabrique et finance les travaux de construction et de décoration intérieure de la nouvelle chapelle. Les travaux sont confiés à l’architecte graylois Christophe Colard et la chapelle est bénite le 27 août 1866. Elle porte sur le frontispice l'inscription suivante, due à Auguste Viard, héritier de Paissel et de son épouse, née Ségaux : EN L’ANNEE 1865 LES EPOUX VIARD SEGAUX DE VAITE ONT ERIGE CETTE CHAPELLE DEDIEE A SAINTE ANNE PAR ORDRE DE DAME ANNE EMILIE SEGAUX VEUVE DE M. F. PAISSEL LEUR TANTE ET AUX FRAIS DE SA SUCCESSION.