Au Moyen Âge, le centre de la cité est définitivement fixé sur la rive est. Su la rive opposée, Saint-Valère devient un quartier où quelques commerces - café, restaurants - subsistent le long de la route principale. Le Magny est le second quartier sur cette rive. Autrefois, bien distincts, Saint-Valère et Le Magny ne forment plus qu'un seul et même espace. Ils sont reliés par la rue du Magny. L'habitat est en majorité rural : la population vivait essentiellement de l'activité agricole (blé, avoine, pommes de terres, betteraves, tabacs et quelques vignes). De nombreuses maisons ont conservé leurs entrées de grange, témoignant de cette activé agricole révolue.

Au 17e siècle, une forge amène une activité économique nouvelle ; en 1788, le martinet produisait 75 tonnes de fer. En 1847, le martinet, toujours en fonction, permet d’employer une dizaine d'ouvriers. L'essor des autres industries locales entraine une reconversion professionnelle d'une partie de la population.

La reconstruction du pont au 18e siècle permet des échanges commerciaux intenses. La route nationale (anciennement royale puis impériale) est un axe routier majeur entre Vesoul et Langres. La rive gauche bénéficie des avantages de l'implantation de la voie de chemin de fer puis de la canalisation de la Saône au 19e siècle.

D'importantes fouilles archéologiques menées par Gustave Gallaire, maître de forge et archéologue local, sont entreprises entre 1855 et 1861 au hameau du Magny. Les vestiges révèlent l'existence d'une ancienne villa gallo-romaine.

En 1845, la chapelle est reconstruite ; les vestiges de l'ancienne chapelle détruite subsistent sur les façades de maisons environnantes. En 1899, le conseil municipal décide la construction d'un lavoir public, rue de Remaucourt ; l’architecte Humbaire est chargé de sa réalisation. Dans les années 1930, le quartier est doté d'une école à l'architecture très novatrice car bâtie en bois.

Actuellement, le quartier est devenu principalement résidentiel. Le restaurant à l'angle de la rue du Magny et de la rue Saint-Valère est le dernier commerce présent sur cette rive.