Le 16 mai 1542, la ville offre un filet d'eau distrait de la conduite de Saint-Quentin à l'usage de la fontaine du palais Granvelle, construite entre 1542 et 1546, et située au centre de la cour. Une description de 1575, faite par les ambassadeurs suisses en visite à Besançon, donne des indications précises sur le monument, constitué d'un bassin au centre duquel s'élevait une colonne contre laquelle était appuyée une sirène en bronze, attribuée par travaux historiques au sculpteur Claude Lullier. La colonne était sommée d'une statue antique de Jupiter, en marbre blanc. Une inscription en latin, située à ses pieds, disait que cette statue, provenant de la villa Médicis à Rome, avait été donnée en 1541 à Nicolas Granvelle par Marguerite d'Autriche et qu'elle avait été placée sur la fontaine en 1546. Cette sculpture est offerte à Louis XIV, lors de son passage à Besançon en 1683, par le comte de la Baume Saint-Amour, alors propriétaire du palais. Retravaillée lors de son arrivée dans les collections royales, elle est aujourd'hui conservée au musée du Louvre. En 1898, une partie de l'inscription, transcrite par les ambassadeurs suisses, est découverte dans le mur de l'ancien jardin du palais. Elle est aujourd'hui conservée au musée des Beaux-Arts de la Ville. En 1940, une table en pierre est mise à jour dans le clos de l'ancien couvent des carmélites, qui était situé à proximité de l'hôtel de la Baume dans la rue des Granges. Elle comporte une inscription en latin : "Jupiter, jadis aux Médicis, ensuite à la famille Granvelle, maintenant enfin au roi", qui semble prouver qu'elle devait accompagner le don de la statue et est restée à Besançon pour une raison inconnue. Elle est aussi conservée au musée des Beaux-Arts de la Ville. Au début du 18e siècle, la fontaine est démantelée. La sirène en bronze, longtemps conservée à l'hôtel de ville, est remployée, en 1785, dans la fontaine des Dames située à l'angle de la nouvelle Intendance (dans l'actuelle rue Charles Nodier). L'original de cette sculpture (conservé au musée des Beaux-Arts) est remplacé par une copie en 1993. A l'emplacement de la fontaine du palais a été érigée, en 1897, une statue en marbre du cardinal de Granvelle. Déposée en 1948, lors de travaux de consolidation des fondations de l'édifice, elle est donnée en 1956 à la ville d'Ornans, berceau de la famille Granvelle (voir dossier Mérimée : Ornans, monument commémoratif du cardinal Granvelle).