La seigneurie de Scey-sur-Saône appartient à une branche cadette des comtes de Bourgogne issue de Guillaume, comte de Mâcon de 1102 à 1157. En 1237, elle passe à Alix de Dreux en échange des droits qu'elle possède à Salins. En 1277, elle constitue la dot de sa petite-fille, Marguerite de Choiseul, lors de son mariage avec Liébaud IV de Bauffremont. La famille de ce dernier conserve la seigneurie jusqu'à la Révolution au cours de laquelle ses biens sont nationalisés. Le château abrite de manière éphémère un hôpital militaire, avant son incendie en 1795. Alexandre Louis Emmanuel de Bauffremont, qui vit en Espagne au début de la Révolution, parvient à récupérer la terre lors d'un procès à la suite duquel son nom est radié de la liste des nobles émigrés en 1795. Au 19e siècle, la propriété des ducs de Bauffremont comprend également le grand moulin sur la Saône et la fonderie à proximité du bourg.

Le site du château du Moyen Âge et des temps modernes (section AI, parcelle n°235) est occupé par un scierie après sa destruction. Il correspond aujourd'hui à une friche industrielle qui appartient à la communauté de communes des Combes. Une autre partie du domaine, située à l'ouest de la rue de Saint-Albin, est en revanche restée en mains privées. Une récente opération de diagnostic menée par l'Institut national de Recherches archéologiques préventives (INRAP) sous la direction de Valérie Viscusi en 2016 a permis de compléter les connaissances sur l'histoire et l'architecture du château rassemblées par Patrick Boisnard en vue de la protection de ses dépendances (clôture, écuries et communs, buanderie, fabrique) en 1996.

Premières constructions (10e siècle-17e siècle)

Les fouilles récentes permettent d'imaginer une "première implantation castrale fossoyée au cours du Moyen Âge central, sans doute alimentée en eau par le ruisseau nord-sud". À proximité, un "mur d'enceinte pourrait appartenir aux premiers vestiges d'un château en pierre". Il pourrait dater de l'époque de l'acquisition de la seigneurie par la famille de Bauffremont (dernier quart du 13e siècle).

Le château de l'époque féodale aurait été reconstruit, ou en tout cas modernisé, par Claude de Bauffremont, évêque de Troyes, en 1561. Les travaux semblent lui avoir fait perdre son caractère défensif. Dans son Histoire de dix ans de la Franche-Comté de Bourgogne, Girardot de Nozeroy évoque en effet ainsi la prise du château du baron de Scey en 1641 : "sa maison de Scey fut assaillie et transportée, car elle est plus-tost maison de plaisance que forteresse". Ce château pourrait correspondre aux vestiges découverts approximativement entre la première implantation castrale et le nouveau château édifié au 18e siècle.

Château de Charles Emmanuel de Bauffremont (vers 1715-1720)

La reconstruction du château est due à Charles Emmanuel de Bauffremont, abbé commendataire de Luxeuil et de Saint-Paul de Besançon. Les fouilles récentes ont confirmé qu'il s'agit d'une reconstruction totale, sans conservation ou réutilisation des édifices antérieurs mises à part quelques maçonneries remployées au premier niveau de l'aile sud. Le nouveau château se situe au sud de l'ancien, et le recouvre partiellement. Le début des travaux a longtemps été situé à l'extrême fin du 17e siècle ou au début du 18e siècle, à la suite de Maurice Cousin (1933) qui tirait ses renseignements de la famille de Bauffremont. Cette datation "haute" semblait pouvoir être confirmée par la mention de travaux menés par Antoine Munier, serrurier à Besançon, en 1696-1697. La redécouverte et la publication par Henry Ronot d'un dessin intitulé "Élévation de la façade du château de Scey" et daté de 1718 a remis en cause cette hypothèse. On peut aujourd'hui penser que le château a plus vraisemblablement été construit vers 1715-1720. La date de 1723 portée "dans l’œil de bœuf d'un des frontons" (cité dans le Procès-verbal de reconnaissance de l'état actuel du ci-devant château, 29 vendémiaire an V) correspondrait ainsi à la fin du chantier. Sur le site, la date inscrite sur la stèle commémorant la construction du château (1733) est erronée.

Si le dessin publié par Ronot est signé Bouchardon, rien ne prouve que l'architecte et sculpteur Jean-Baptiste Bouchardon soit l'architecte du château. La destruction de l'édifice et le manque de documentation ne permettent pas d'en avoir la certitude. Par ailleurs, on peut noter d'importantes différences entre ce qui pourrait être un projet de Bouchardon et les relevés du château (dessins et gravures) exécutés au 18e siècle. L'affirmation de la place des ailes, élargies d'une travée et terminées par des pavillons décorés de pilastres colossaux et couverts de toits à l'impériale, change assez profondément la composition de l'ensemble. Le modèle de l'édifice, tel qu'il a été construit, est finalement moins le château de plan massé qui s'impose progressivement en France au 17e siècle que les grandes demeures de l'époque précédente (château de Verneuil, palais du Luxembourg) associant corps et pavillons autour d'une cour de plan rectangulaire.

Peu de temps après le procès au cours duquel le domaine est restitué à Alexandre Louis Emmanuel de Bauffremont, le château est incendié dans la nuit 20 au 21 vendémiaire an IV (12-13 octobre 1795).

Château d'Alexandre Louis Emmanuel de Bauffremont (années 1810-1820)

Le site du château incendié est abandonné. Une nouvelle demeure est construite à l'ouest, au-delà des Boulingrins et du canal de décharge de la fonderie que longe la rue de Saint-Albin. La construction est antérieure à 1836. Le cadastre ancien dit napoléonien mentionne en effet un "château, cour et jardin d'agrément" (parcelle n°1218). Cette demeure est connue grâce à deux cartes postales anciennes (vers 1910-1920). Elle témoigne de l’engouement pour le style des villas rurales italiennes, qui s'inscrit plus largement dans le néo-palladianisme des années 1810 et 1820. L'initiative de sa construction doit sans doute revenir à Alexandre Louis Emmanuel de Bauffremont, qui meurt en 1833. Cette demeure est appelé "ancien château" dans l'atlas cantonal de 1858, ce qui pose assez tôt la question de son abandon comme résidence. Transformée en hôpital militaire pendant la Première Guerre mondiale, elle est détruite peu de temps après.

Le pavillon d'entrée donnant sur la rue de Saint-Albin ainsi que la buanderie (avec son lavoir) pourraient être contemporaines de la demeure.

Château de Roger Alexandre de Bauffremont (années 1850-1860)

L'atlas cantonal de 1858 rend compte de l'ambition de Roger Alexandre de Bauffremont pour le domaine, dont il prend possession à la fin des années 1840. Le "château projeté" au sommet de la côte du parc n'est finalement jamais construit, vraisemblablement faute de moyens. Seule l'écurie (que l'on appelle aujourd'hui improprement "château") est construite. Elle se situe dans l'axe de l'allée des Boulingrins qui conduit à la rue Armand Paulmard vers l'est. On peut rattacher à cette période les différents éléments constituant la clôture du domaine, et notamment les grilles de la rue Armand Paulmard et de la rue de Saint-Albin, situées précisément dans l'axe de l'allée des Boulingrins, et les celles de l'avenue des Pâtis, au nord du site de la forge.

Le 1er juillet 1899, le domaine est vendu au comte Ferdinand O'Gorman. Son fils Patrice la met à disposition du service de santé de l'armée en 1916. Le 21 juin 1918, le domaine est acquis par Hubert Bresson, membre d'une famille d'industriels à l'origine de la distillerie de Fougerolles.