La construction de casernes s'inscrit dans la volonté du roi de France de réorganiser l'armée et plus particulièrement le logement des soldats au sein de casernes, tâche confiée à Louvois, secrétaire d'État de la Guerre. Leur confection suit les principes et méthodes de Vauban qui standardisent ces logements, et Louvoie demande en 1680 la réalisation de plans types.
A Saint-André ,les deux casernes sont achevées en 1677. A cette date, le fort est réputé pouvoir loger près de 600 hommes. Après l'invasion autrichienne de 1815, les bâtiments sont restaurés. Les murs pignons face à la courtine (front d'attaque) sont renforcés pour être à l’épreuve des bombes. En 1863, l'atlas réalisé par la direction du Génie de Besançon montre que les bâtiments U et V disposent d'une capacité respective de 152 et 148 hommes. La caserne U abrite deux salles de cuisine et deux salles de "punitions". La caserne V a deux salles de blanchisserie et une salle d'escrime au rez-de-chaussée.
Les casernes sont transformées au 20e siècle pour accueillir enfants et groupes dans un but récréatif et de loisir. En 1955, le Service du Génie décide l'installation de blocs WC sur la façade postérieure du bâtiment V.
Guillaume Gézolme, chercheur. Région Franche-Comté puis Bourgogne-Franche-Comté, Service Inventaire et Patrimoine, 2014-