Le tracé des voies permet de penser que le premier noyau du bourg est délimité approximativement par l'actuelle rue André Bergerot et l'actuelle Grande Rue du Bourg. Les fouilles récentes menées par une équipe de l'Institut national de Recherches archéologiques préventives (INRAP) sous la direction de Valérie Viscusi (2016) sur le site du château ont révélé une "première implantation castrale fossoyée au cours du Moyen Âge central" qui pourrait venir renforcer une première enceinte, du côté ouest. La partie la plus ancienne de la maison située n°8-10 de la rue d'Enfer pourrait bien avoir joué un rôle défensif comparable du côté est, en amont de la Saône. Dans un second temps, vraisemblablement dès la fin du Moyen Âge, l'extension du bourg repousse ses limites. Le plan cadastral permet de situer approximativement l'enceinte de la ville sous l'Ancien Régime. La toponymie de la rue Derrière les Murs, qui double la Grande Rue du Bourg du côté extérieur, vient confirmer la présence de l'enceinte. Le bourg est traversé par l'actuelle rue Armand Paulmard selon un axe approximativement nord-sud. À son extrémité nord, elle est verrouillée par une porte dont seul le plan du cadastre ancien dit napoléonien (1836) garde la trace. À son extrémité sud, elle conduit au franchissement de la Saône.

Le bourg est le siège du pouvoir politique et judiciaire. C'est là que se trouvent la maison commune avec la justice de paix jusqu'au troisième quart du 19e siècle, ainsi que la gendarmerie située au n°41 de la Grande Rue du Bourg. On ignore en revanche quasiment tout des lieux de culte de la commune avant la construction de l'église Saint-Martin, d'ailleurs à l'extérieur du bourg, au 18e siècle. Une "chapelle Saint-Hubert" est mentionnée dans un document daté de 1741 relatif à la réparation des halles. On y apprend que l'on y célèbre quotidiennement la messe. Il pourrait s'agir du principal, et peut-être unique, lieu de culte du bourg. Une vue du château dessinée par Jean-Baptiste Lallemand prise depuis la rive gauche de la Saône en direction de l'amont montre une partie du bourg. L'édifice qui domine le bourg n'est vraisemblablement rien d'autre que la nouvelle église Saint-Martin, artificiellement "déplacée" sur les bords de la Saône par le paysagiste pour l'inclure dans sa composition.

Le bourg est longtemps au cœur des activités de production et d'échanges de la commune, comme l'attestent les commerces et la halle de la rue Armand Paulmard, mais aussi plusieurs industries dont le grand moulin sur la Saône, la fonderie et la tannerie. L'un des deux arrêts dans la commune de la ligne de chemin de fer reliant Vesoul à Molay (troisième réseau des chemins de fer vicinaux de Haute-Saône) est situé près du grand moulin. Cette ligne est en activité de 1910 à 1938. Elle permet notamment de connecter le bourg aux communes rurales des alentours comme Pontcey, Bucey-lès-Traves, Chassey-lès-Scey au sud et La Neuvelle et Combeaufontaine au nord, et joue sans doute un rôle important dans le développement économique de Scey-sur-Saône.

Tout au long du 19e siècle, le bourg rassemble un peu moins de la moitié (environ 45%) de la population totale de la commune. Le nombre d'habitants atteint son maximum au recensement de 1851. Le bourg compte cette année-là 877 habitants. Comme le reste de la commune, l'épidémie de choléra marque durablement le bourg en 1854. La population tombe ainsi à 780 habitants au recensement de 1856 et ne repasse au-dessus du seuil des 800 habitants qu'à celui de 1871.