L'édifice nommé logement du gouverneur est contemporain de la reconstruction du fort selon les plans dressés par Vauban à partir de 1674. Des plans levés en 1868 donnent une idée précise de la distribution intérieure. Les caves sont affectées au stockage de "liquides". Le rez-de-chaussée est dévolu au logement de deux lieutenants et un capitaine, ainsi qu'une boulangerie et un magasin à farine. L'étage supérieur est réservé au logement de deux autres capitaines et quatre salles sont attribuées au commandant de la place. Les combles n'ont aucune fonction particulière.

Le 15 février 1942, le bâtiment subit un incendie qui l'endommage fortement : seuls les murs sont encore en place. Une expertise faite pour les assurances en août de la même année dresse un constat général sur le fort et sur l'édifice en question. Le rapport précise que ce logement abritait une pièce historique dite la chambre Vauban qui a totalement disparue sous les flammes. Seule la plaque de cheminée arborant les blasons des rois de France, est encore présente dans les décombres. L'édifice est entièrement restaurée par la suite et des lucarnes sont installées au niveau des combles. L’intérieur du bâtiment a perdu tout élément historique.