La prison et les tribunaux de Mâcon se situent jusqu'au début du 19e siècle dans la rue du Vieux-Palais (actuelle rue Georges-Rozet). En 1811, le préfet de Saône-et-Loire juge leur état insatisfaisant : la prison est étroite et humide, les tribunaux civils et de commerce, de même que la justice de paix ne disposent pas d'un espace suffisant, et le concierge ne dispose pas de logement. Le terrain, exigu, ne peut guère être mieux exploité, tandis que la rue est jugée étroite et difficile d'accès. Suivant les conseils de l'architecte départemental, l'ingénieur des ponts et chaussées Guillemot (sans doute Charles Aimé Jean-Baptiste, 1790-1831), le préfet choisit de ne pas restaurer l'ancienne prison, mais d'utiliser un autre terrain, facile d'accès, et dégagé pour assurer la circulation de l'air. Il se propose donc d'acheter à Pierre Guillaume Charles Albert de Labletonnière d'Igé son hôtel particulier pour installer ces services. Cette acquisition est autorisée par un décret impérial du 25 mai 1812. Le nouveau palais de justice s'installe dans l'ancien hôtel d'Igé et les dépendances du tribunal dans l'ancien jardin.

La décision est rapidement prise de transformer l'ancienne orangerie de l'hôtel pour en faire la prison, contrairement à l'avis de l'ingénieur départemental Guillemot qui proposait plutôt de la raser et de construire à son emplacement un bâtiment neuf. Le sous-sol voûté est peut-être le seul vestige visible de cette orangerie. Le devis d'adjudication des travaux (8 mars 1813) n'en fait nulle mention, mais seulement de modification des façades pour la création de nouvelles ouvertures. La charpente doit être elle aussi conservée. À ce moment, l'orangerie paraît donc consister en un sous-sol et un rez-de-chaussée. Son toit à longs pans comprend des pignons, mentionnés dans des documents ultérieurs. Il est expressément écrit que les moellons viendront des carrières de Charnay (Charnay-lès-Mâcon), la pierre de taille des carrières de "Saint-Martin Farges au Préty" (à Préty, au sud de Tournus), le sable du lit de la Saône et les éléments de serrurerie des forges des départements du Doubs ou du Jura. Un puits de 16 m de profondeur sera creusé dans la cour. Le 16 juillet 1813, les travaux sont adjudiqués à Jean Dupont, entrepreneur à Mâcon, pour la somme de 32 680 francs. La construction est lancée vraisemblablement la même année et ne connaît que des modifications mineures en cours de travaux.

Le 1er juillet 1817, le nouvel ingénieur départemental, Vaillant (sans doute Albert Vaillant), propose la construction d'un premier étage avec démontage et remontage de l'ancienne charpente avec ses tuiles, qui recevra des croupes aux extrémités et non plus des pignons. Cette solution, acceptée par le ministère de l'Intérieur le 23 août, implique de démolir l'ancien mur de façade de l'orangerie afin de lui donner davantage de solidité. Il doit être reconstruit depuis le niveau du repos des fenêtres du rez-de-chaussée. Alors que la prison doit être à peu près achevée, le 9 janvier 1818, le même Vaillant ajoute de nouvelles dispositions à la prison à la demande du préfet : une chapelle à l'extrémité nord du premier étage (dont l'autel, adossé au mur nord-ouest, sera accosté de deux placards en plein-cintre), deux pièces pour une infirmerie, une cour pavée en avant de la geôle avec un portail sur la rue des prisons (inscription peinte "maison d'arrêt" coiffant l'arc) et des marches pour y accéder, une lucarne dans la croupe du côté de la place, un couloir pour mener les prisonniers au tribunal, un nouveau plancher en chêne plutôt qu’en sapin, déjà pourri, au premier étage (on comprend alors que le plancher de sapin de l’ancienne orangerie était toujours en place et hors d’usage) et un nouvel accès à la cave depuis la nouvelle petite cour (l'escalier à la cave donnait alors sur la place publique, il convenait donc de le supprimer). L'ensemble de ces adjonctions, réalisées encore par Dupont, se monte à 8 000 francs. La prison a coûté en tout 54 802 francs. En novembre 1819, la réception des travaux provoque des difficultés entre l'ingénieur Jean-François Tourneux et Jean Dupont, qui aurait mal exécuté nombre de travaux. Ce n'est qu'en août 1821 que Dupont reçoit son solde de tout compte. La prison est alors composée du bâtiment pénitentiaire lui-même, d'une cour des détenus et d'une cour d'entrée, d'un chemin de ronde le long de la rue Léonce-Lex et d'une étroite courette séparant la prison d'une propriété particulière ouvrant sur la rue des Carmélites. Le bâtiment pénitentiaire est ensuite constamment jugé trop exigu, malgré le vaste sous-sol qui ne paraît pas être utilisé (il est même loué à des négociants en vin entre 1874 et 1883). Des projets d'extension voient donc le jour, dont l'un, conçu dès 1833-1834, est conservé aux Archives nationales (F/21/1900, n° 3085). Un autre, conservé aux archives départementales de Saône-et-Loire (4N35, n° 3-7) et daté de 1855, prévoyait la construction d'une vaste extension de la maison d'arrêt qui aurait investi la cour située entre le palais de justice et la cour de la prison. Ce projet est signé de l'architecte départemental André Berthier, auteur de la prison panoptique d'Autun.

Des modifications sont apportées au fil du temps. La fonction des salles, qui a varié au cours du temps sans affecter profondément la structure du bâtiment, paraît se stabiliser au milieu du 19e siècle. À l'extrémité nord de la prison, au rez-de-chaussée, se trouvaient la cuisine, l'infirmerie et un logement pour le gardien (attesté en 1873). À l'étage, une chapelle est flanquée d'une sacristie, devenue tardivement une salle de classe. À l'extrémité sud de la prison, se trouvaient au rez-de-chaussée les parloirs, la salle du greffe, l'accueil et, à l'étage, le logement du gardien-chef. La cour est divisée peut-être dès l'origine par un mur pour distinguer les sexes des prévenus et condamnés. En 1873, l'architecte départemental Jean Étienne Giroud construit un atelier dans la partie nord de la cour réservée aux hommes (l'entrepreneur est Guillaume Moulin, qui perçoit 5 384 francs). Il s'agit peut-être de cet atelier mentionné en 1904 comme "atelier de sparterie". En 1927, lorsque le garde des sceaux préconise la mutation des maisons d'arrêt de Mâcon et Chalon-sur-Saône en prisons cellulaires, on décide de construire huit cellules nouvelles dans cette même cour et de modifier certaines pièces de la prison pour en faire des cellules d'isolement. Les cellules de la cour avec leurs préaux sont construites en 1931 sur les plans de l'architecte départemental Frédéric Bidaut. L'entrepreneur mâconnais de travaux publics Philippe Palacios obtient l'adjudication de 228 532 francs avec un rabais de 11 %. Des peintures murales signées "J. Romite" sont réalisées dans la chapelle en 1973. La prison est désaffectée en 1991, lorsque le centre pénitentiaire de Varennes-le-Grand ouvre ses portes. C'est alors que le corps de garde, les bâtiments de la cour et le mur de clôture enserrant le chemin de ronde ont disparu pour laisser place à un stationnement réservé au palais de justice.