D'après les travaux historiques, un embryon de port aurait existé sur la rive gauche de la Saône côté ville dès le 12e siècle. Au 15e siècle, un autre port est aménagé sur la rive droite. Jusqu'au début du 19e siècle, on nomme "port" les berges des deux rives non aménagées. Un premier quai aurait été construit sous les remparts (à l'emplacement actuel du quai Saint-Esprit) ; il aurait disparu au 17e siècle.

Des bâtiments à usage d'entrepôts et de magasins sont installés par des négociants sur la rive droite de la Saône. C'est le cas de l’entrepôt construit par Nicolas Lamarche vers 1748 ; fermier des octrois de la ville de Gray et fournisseur des armées royales en grain, il aménage également un quai privé. Ce magasin sera détruit en 1863, lors de l'extension du quai Villeneuve.

Au début du 19e siècle, le port est en très mauvais état et des localités voisines comme Mantoche font de la concurrence à Gray. Des pourparlers pour l'amélioration du port avaient été entamés dès la deuxième moitié du 18e siècle, sans résultat ; en 1813, la Ville demande un devis à l'ingénieur Alis Desgranges pour l'aménagement du port rive droite : les travaux ne seront pas exécutés. En 1818, un bâtiment au service de l'écluse marinière est construit quai Vergy ; il sera rebâti entre 1879 et 1883.

À partir des années 1820, l'aménagement du port de Gray s'intensifie avec l'installation de quais maçonnés. Le port va se structurer autour de quatre quais au cours du 19e siècle : les quais Vergy et Villeneuve, rive droite et les quais Saint-Esprit et de la Mavia, rive gauche.

En 1823 le devis de l'ingénieur Desgranges est repris par l'ingénieur Molind. Les travaux portant sur une portion de la rive droite, sont adjugés en janvier 1824 aux entrepreneurs Delangres, Grandjond et Roland ; les travaux s'achèvent en 1830 et le quai doublé d'une voie, prend alors le nom de quai et rue Villeneuve. L'année 1827 marque le début des travaux sur la rive gauche suivant le devis de l'ingénieur Kreyselle pour la création du quai Saint-Esprit à l'extrémité de la Grande Rue. Les travaux sont exécutés en 1846 et 1847 par les ingénieurs des Ponts et Chaussées. Une partie des travaux est financée par les négociants et les commerçants de la ville. Enfin, sur cette même rive, les quais de la Mavia en aval du quai Saint-Esprit sont édifiés à partir de 1844.

De 1835 à 1843, le port se prolonge rive droite, entre le ruisseau des Ecoulottes et la maison Curaillat.

Dans la seconde moitié du 19e siècle, les aménagements se poursuivent :

- en 1858 à l'extrémité du quai Villeneuve, construction du bassin de la gare fluviale, entre la Saône et la gare SNCF située sur la commune d'Arc-lès-Gray ;

- en 1874 construction d'un édifice commercial public (les magasins généraux) établi sur la commune d'Arc-lès-Gray ;

- vers 1860, construction du pont suspendu qui permet d'accéder à la gare ;

- en 1873, des travaux de canalisation sont effectués sur la Saône pour obtenir un mouillage de 1,60 m et entre 1878 et 1879 pour un mouillage de 2 m ;

- entre 1878 et 1883, un bas port prolongeant le quai Mavia est créé pour la manutention des bois et des vins.

Cependant dès le milieu du 19e siècle, le port de Gray perd peu à peu de son importance, concurrencé par les grandes lignes ferroviaires et les nouvelles voies d'eau.

Aujourd'hui, l'activité portuaire de Gray repose uniquement sur le tourisme fluvial.