Le plan de la ville levé en 1787 témoigne de l'existence d'une construction à cet emplacement dès cette époque.

Par ailleurs, le bâtiment figure également sur le premier cadastre de la commune, réalisé en 1837.

Il s'agit donc probablement d'une construction du 18e siècle qui a été remaniée au cours du 19e siècle. La régularité des percements ainsi que leur forme quadrangulaire témoignent de l'architecture de cette période. Sur le cadastre de 1837, l'aile ouest de la construction était plus importante qu'elle ne l'est aujourd'hui, cette partie se développait approximativement jusqu'au portail d'entrée actuel.

A cette époque, il existait un verger au nord de la construction.

La proximité de cet édifice avec l'ancien couvent des Capucins nous autorise à penser qu'il faisait peut-être partie de cet ensemble.