Jussey serait mentionné au 7e siècle sous la forme "Jussiacus" comme possession de l'abbaye de Luxeuil. Au haut Moyen Âge, une première église paroissiale Notre-Dame se serait développée aux côtés du prieuré Saint-Thiebaud (peut-être à l'extrémité orientale de l'actuelle rue de l'Aître). Après avoir été cédé à l'abbaye de Cherlieu, Jussey devint autour du 12e siècle une possession des comtes de Bourgogne. Un château comtal est érigé à cette époque sur un éperon barré et dominant la localité au sud-est. Une prévôté est attestée à Jussey dès 1208. Son étendue varie selon les époques (entre 42 et 72 villages), au point qu'il est difficile de circonscrire ses limites exactes.

Jussey paraît avoir connu une forme d'âge d'or dans la première moitié du 16e siècle. Ses franchises municipales sont étendues et codifiées en 1547 par des lettres patentes de Charles Quint (292 E dépôt AA1). L'empereur permet à la Ville d’élire quatre échevins, de choisir douze notables (dits "co-gouverneurs" avec à leur tête un maire) se réunissant publiquement en conseil. Au 16e siècle, Jussey se compose de deux parties principales. La ville haute est un bourg castral au sommet du plateau qui domine la localité au sud-ouest et le long de la pente (dite "Laître"). Elle s'organise autour du château, de l'église Notre-Dame et du prieuré Saint-Thiebaud. La ville basse (le "Val") se développe autour de l'église paroissiale Saint-Pierre. L'enceinte, précédée d'un fossé et percée de cinq portes, renferme 14 hectares. Jussey est alors, avec ses 300 feux, un des gros bourgs du bailliage d'Amont, qui se distingue par des vignes, des moulins, des mines de fer, des pêcheries, deux églises, le prieuré Saint-Thiebaud, un hôpital, des halles, des foires et un port au confluent de la Saône et de la Mance.

Par deux fois au 16e siècle (en 1568-1569 lors de l'incursion des protestants dans le comté de Bourgogne et en 1595 lors de la tentative d'annexion de la comté à la France par Henri IV), la ville est durement touchée par la guerre : la ville haute et son église Notre-Dame sont détruites. Les années qui suivent voient l'abandon de la ville haute (église et prieuré, à l'exception d'un monastère de Capucins qui s'établit en 1622 sur les ruines du château) et la densification de la ville basse. Mais lors de la guerre de Dix Ans, en 1636-1637, la ville est incendiée, dépeuplée et ruinée. Au 18e siècle, après l'annexion de la Franche-Comté à la France en 1678, des travaux sont menés à Jussey avec la reconstruction de l'église Saint-Pierre (1750-1757), de quatre fontaines et de casernes (1755) qui compensent partiellement la perte des anciennes franchises et de l'hôpital, annexé à celui de Vesoul en 1696.

Dépendant du baillage de Vesoul en 1789, Jussey devient chef-lieu de canton en 1790. Comme partout en France, avec les clubs, la vie politique nouvelle s'invente, et une société populaire rurale y est active en 1793.

Le cadastre dit napoléonien est terminé par le géomètre Besançenot le 9 avril 1819. Au cours du 19e siècle, la politique municipale témoigne d'un souci d'édification ou de modernisation des édifices publics : nombreuses fontaines, promenade publique (1809, actuelle place de la République), hôtel de ville (1853), écoles (celle des filles, détruite, était dans la caserne du 18e siècle), salle d'asile (1849), halle aux grains (dite aussi aux blés, 1852-1868). En 1858, argumentant pour l'obtention d'un second passage à niveau, la ville s’enorgueillit de 52 foires annuelles et de 300 têtes de bétail qui quotidiennement doivent traverser les voies ferrées. En 1901, on y dénombre, outre les artisanats traditionnels du fer et du bois, et les commerces, deux scieries, une huilerie, une teinturerie, une fabrique de limonades, sirops et liqueurs, un atelier de broderie qui emploie une vingtaine d’ouvrières. La modernité arrive à Jussey après la Première Guerre mondiale, puisque le conseil municipal décide d'installer l'éclairage électrique dans les rues en 1920. La généralisation de l'électricité avance doucement au cours de cette décennie.

Le 31 décembre 1972, Jussey fusionne avec Noroy-lès-Jussey (non étudiée). La part des logements vacants (selon les recensements de l'INSEE) ne cesse de croitre entre 1999 et 2018, passant de 96 (sur un total de 971) à 261 (sur un total de 1087).