La chapelle est construite d’après les plans dressés par Vauban à partir de 1674, à l'emplacement d’une croix monumentale de Saint-André, emblème des ducs et des comtes de Bourgogne puis des Habsbourg. L’édifice sert d'église paroissiale de sa création jusqu'en 1791. A l'origine, il était probablement doté d'un plafond à voussures. Un plan de 1755 montre qu'il disposait d'un autel et d'une sacristie, le chœur et la nef étant délimités par un banc de communion. Ce document suppose également que le chœur a toujours disposé d'une seule baie (flanquée de deux niches dorénavant obstruées). Au début du 19e siècle, la chapelle est transformée en magasin pour l'artillerie. Ses baies sont murées et l'édifice est défendu par des bois de blindage en 1815. L'ensemble du décor semble avoir été ôté à cette période (selon un mémoire en date de 1822). En 1851, le capitaine Marchand écrit que l'état de la façade de la chapelle est dans un état alarmant, et juge qu'au premier "coup de vent violent à Saint-André", elle risque de s'effondrer. Il propose pour sa reconstruction, un projet qui semble l'embellir. Ces travaux, absolument nécessaires, sont programmés l'année suivante. La toiture de la chapelle est restaurée vers 1891 ; le mur de façade (maçonnerie-pierre) est refait et la position des versants de toiture modifié "afin de leur faire reprendre leur position d'origine" (colonel Vogein, directeur des travaux du Génie).

Un procès verbal de 1942 (suite à l'incendie du bâtiment du Gouverneur en février de la même année) indique que l'édifice est dans un état "déplorable". Le rez-de-chaussée est couvert de débris du mécanisme de l'horloge et les cloches ont été enlevées par les troupes allemandes. Il sert alors de salle de jeux pour les colonies et actuellement salle de réception.