Le 23 novembre 1844, le ministère de l'Intérieur autorise la Ville de Jussey à acquérir la maison des époux Bournot pour la somme de 23 000 francs pour y élever une halle aux grains et une salle d’asile. La vente sera financée par le budget communal (14 500 francs) et la vente du 3e lot du quart de réserve (8 500 francs). D’après le plan d’alignement des rues de Jussey, il s’agit des n° 3 et 7 de la rue Dessous (parcelles F 153 et 154 du cadastre napoléonien), propriété de Jean François Joseph Bournot et de Claude Antoinette Eugénie Foyot. La vente a lieu le 16 janvier 1845. Le terrain comprend "de vastes bâtiments sepparés [sic] par une cour, très propres à servir provisoirement a leur entrepôt [aux grains]" (3 O 302-1). Les époux Bournot n’ont cédé qu’aux instances de la ville (ils avaient refusé 19 000 francs). L’architecte Claude Loiselot-Gousset, de Montigny-lès-Cherlieu, réalise une estimation des travaux pour une salle d’asile à 11 700 fr (30 mai 1845). Le préfet approuve ce devis le 25 octobre 1845. Le 13 novembre 1845, les travaux de la salle d’asile, dont les plans ont été dressés par les architectes Le Beuffe et Renahy, sont adjudiqués aux sieurs Jobert, Ardoin et Mortal associés, demeurant à Jussey. La halle aux grains n'est finalement pas construite et la ville se contente d'utiliser les anciens bâtiments des Bournot situés en avant de la rue. La salle d'asile est construite loin de la rue, au fond de la parcelle. Elle se présente alors sous la forme d'une haute et vaste salle éclairée par huit fenêtres en plein cintre, et un comble à surcroît aménagé. Elle sera remployée 20 ans plus tard comme rez-de-chaussée du bâtiment principal actuel.

Au 19e siècle, l'enseignement scolaire est d'abord assuré dans l'école communale de la rue Dessus de 1819 à 1854, puis par les Frères de la doctrine chrétienne, dans la maison Cordienne, à partir de 1854. Mais rapidement, dès 1862, pour créer un contrepoids à l’enseignement religieux, le conseil municipal décide de réintégrer à Jussey un instituteur laïc et d’établir son logement et l’école de garçons "dans l’ancien asile communal actuellement affecté à l’entrepôt des grains. Ce dernier beaucoup trop exigu pour l’importance du marché serait alors remplacé par un nouvel entrepôt plus vaste à construire sur une place libre derrière l’église à proximité des halles actuelles dont la destination serait maintenue provisoirement" (5 octobre 1862, 3 O 302-1). L'architecte Jean-Baptiste Martin est chargé des plans, adjudiqués le 22 février 1863 aux sieurs Doiselet (de Faverney) et Rousselot (de Contréglise), pour 5 150 francs. Les travaux doivent être achevés en juin 1864, un an avant la réception définitive du 10 juin 1865. Ces travaux de petite ampleur ont essentiellement consisté à aménager le local en deux salles de classe et à construire un vrai premier étage, de faible hauteur.

Les grands travaux sont entrepris en 1878, après que la halle aux grains a été édifiée et que l'école ne conserve que cette seule fonction. Les 7 août et 13 novembre de cette année, le conseil municipal acte le fait que l'école de garçons est trop exigüe pour les 200 enfants qui la fréquentent et adopte le projet de son agrandissement de deux à quatre classes. L'architecte Charles Desgranges rend son projet et son devis le 1er août 1878. Le 10 juillet 1879, l'entrepreneur Joseph Cope devient adjudicataire des travaux, achevés en décembre 1880, après deux devis supplémentaires réalisés par Desgranges à la demande de la mairie. L'école a coûté environ 34 000 francs. Le bâtiment principal de l'école acquiert alors la physionomie extérieure qu'on lui connaît. Le premier étage est surhaussé et un second étage identique est construit. Le rez-de-chaussée est composé de deux classes pouvant accueillir 50 élèves chacune ; le 1er étage comprend un appartement de quatre chambres, un réfectoire, une cuisine et un cabinet ; le 2e étage un grand dortoir, deux chambres et une lingerie. Au rez-de-chaussée, deux ailes sont construites en retour du corps principal en direction de la rue, comprenant chacune une salle de classe de 60 élèves. Dans leur prolongement, des préaux couverts s'étendent jusqu'à la rue et forment l'espace de la cour de récréation (3 O 302-2). C'est cet état de l'école qu'enregistrent certaines cartes postales du début du 20e siècle (archives départementales de Haute-Saône, 11 Fi 292-5).

En 1907, une borne-fontaine est construite à l'école de garçons. En 1931, l'architecte Auguste Petitguillaume, de Saint-Loup-sur-Semouse, est sollicité par la ville pour construire une 5e classe, qu'il établit à l'emplacement du préau oriental de la cour (disparu). Les travaux sont adjudiqués le 30 mars 1933 à Maffiolini Godart. Petitguillaume travaillait à ce moment à la construction de l'école de la gare (disparue). Des travaux sont menés pour moderniser les préaux, avant 1991 (date du cadastre rénové où ils apparaissent).