Le 11 juillet 1734, les administrateurs de l'hôpital Saint-Jacques, situé dans le faubourg des Bordes, achetèrent l'hôtel dit du gouverneur, alors appelé hôtel du Châtelet de Laumont, du nom de son dernier occupant Florent-Claude du Châtelet, lieutenant-général des armées du roi, gouverneur de Semur, mari de la célèbre Emilie de Breteuil. Un procès-verbal de visite, daté du 30 septembre suivant, mentionne une salle des hommes d'environ 12m de long (vraisemblablement la salle du conseil actuelle) où l'on prévoyait d'établir un "autel en forme de sanctuaire", entouré d'une balustrade : il s'y trouvait une grande cheminée que le chanoine Lazare Demanche, au nom de la décence, recommanda de masquer "par une tapisserie ou une boiserie". Une porte, à gauche de l'autel, ouvrait sur la salle des femmes qui avaient ainsi "la satisfaction d'entendre la messe et de voir le prestre à l'autel". L'apothicairerie et les salles réservées aux soeurs hospitalières (dortoir, réfectoire, infirmerie) étaient réparties au rez-de-chaussée et à l'étage. Le nouvel hôpital s'avérant insuffisant, on édifia, en 1744-1749, un long corps de bâtiment en retour d'équerre, à droite de la cour antérieure, à l'emplacement des écuries et dépendances : construit sur les plans de l'architecte Lapoton, il comprenait 2 salles de malades de part et d'autre d'une chapelle (salle Sainte Marthe pour les femmes, à gauche, et salle Saint-Louis pour les hommes). Les malades y disposaient d'un chauffoir. De 1745 à 1748, plusieurs marchés furent passés, notamment avec le sculpteur dijonnais Vincent François (porte en bois de la chapelle, niche au dessus de la porte, tête de chérubin ornant la clef de l'arc entre la chapelle et les salles, mascaron de la fontaine en pierre de chacune des 2 salles), les maçons Sylvain Malardié et Jean Sureau, les charpentiers François Dabost et Jean Cortot, et plusieurs tailleurs de pierre originaires de Semur et d'Anstrude (aujourd'hui Bierry-les-Belles-Fontaines). La pierre provenait de Pouillenay et d'Anstrude, et la tuile de Cussy-les-Forges. La chapelle fut consacrée le 14 septembre 1749 : sa façade porte la date 1749 et l'inscription VIRGINI INFIRMORUM SALUTI. En 1745, l'hôpital acheta à la fabrique de l'église Saint-Médard de Dijon, une porte à deux vantaux en fer forgé destinés au portail d'entrée. En 1766, une filature de coton fut installée dans la galerie bâtie au 18e siècle entre les deux jardins : elle employait les enfants hébergés par l'hôpital et sera fermée en 1807. En 1822, un campanile en fer forgé remplaça le clocher détruit à la Révolution. Un projet d'agrandissement de la salle des hommes fut adopté le 14 juillet 1827 : prolongée de 11m (côté rue) la salle pouvait désormais contenir 24 à 26 lits. Ce prolongement nécessita la destruction de divers bâtiments achetés en 1780, dont le logis du chapelain. En 1843-1844, grâce au legs de Pierre Marie Arnault, avocat à Semur, il fut possible de construire à l'emplacement du bûcher, sur les plans de l'architecte dijonnais Fénéon, une aile gauche dite fondation Arnault, identique à l'aile droite (sans son prolongement) et destinée à accueillir "douze vieillards de l'un et l'autre sexe". La date 1839, année du décès du donateur, est gravée au dessus de la porte d'entrée. En 1853-1854, de nouveaux bains, remplaçant ceux qui existaient depuis 1807, furent construits dans la basse-cour, à la place d'un lavoir et de hangars (plans de l'architecte Grosley, datés du 24 janvier 1853) : les travaux consistaient également à construire des latrines et un "dépositoire" pour les morts. En 1860, le portail d'entrée fut déplacé afin de la rapprocher de la loge du portier construite peu auparavant, en 1851-1853. En 1905-1911, un pavillon d'isolement fut bâti dans l'arrière cour, par l'architecte semurois Marcorelles (bâtiment qui sera remanié en 1957 afin d'y loger des couples de personnes âgées). En 1906-1907 furent édifiés, à l'arrière de l'a ile droite, deux corps de bâtiment : l'un, derrière la chapelle, abritait une salle d'opération, une "petite morgue", et des chambres particulières ; l'autre, derrière la salle Saint-Louis, comprenait un service d'hydrothérapie et 2 chambres de 4 lits. En 1926 commença, derrière la salle Saint-Marthe, la construction d'une nouvelle maternité, remplaçant celle qui avait été aménagée en 1906 dans l'ancienne filature : elle sera agrandie en 1935. Au cours du 3e quart du 20e siècle, l'agrandissement de l'hôpital fut confié à l'architecte dijonnais Roger-Martin Barade : il s'est agi, notamment, de construire un bloc médico-chirurgical (1964) entre l'hôtel du gouverneur et l'aile Arnault, d'ajouter un étage au pavillon "des vieux ménages" et de construire un bâtiment dans son prolongement. En 1962, les cuisines qui occupaient l'actuelle salle du conseil furent transférées au sous-sol de l'aile gauche. En 1974 commença la remise en état des salles de l'ancien hôtel du gouverneur. Une cuisine réservée aux réceptions fut aménagée dans l'ancien réfectoire des soeurs.En 1973, une buanderie fut installée dans la salle Saint-Louis. En 1976, les services de médecine, chirurgie, radiologie, maternité furent transférés sur le site du Centre hospitalier Robert Morlevat à la périphérie de la ville. L'ancien hôpital a fait l'objet de travaux d'humanisation en 1993 mais sa fermeture est prévue dans le cadre du "plan hôpital 2007".