La présence d'un château-fort est attestée au Moyen-Age. Gevigney est un fief du comté de Bourgogne au 12e siècle. Un château est construit sous la forme d'une maison-forte accompagnée d'un donjon (attestés du 13e et ce jusqu'à la fin du 17e siècle). En 1291, Kales de Gevigney devient vassal de Jean de Bourgogne en inféodant sa maison-forte et son donjon. Au 15e siècle, le château était occupé par une branche des Gevigney (éteinte en 1538), les de Poinctes. En 1537, la maison-forte est tenue par Claude de Croch, qui rend hommage au seigneur d'Amance. En 1696, le château est rebâti par son occupant, Claude Fyard alors président du bailliage et du présidial de Vesoul. En 1793, le château sert de maison-d'arrêt pour incarner les curés et les citoyens s'élevant contre la Révolution.

Le cadastre de 1826 présente une place-forte formant une enceinte. L'accès à l'édifice se faisait par une entrée situé au sud de l’enceinte . L'édifice (ainsi que celui de Mercey) est acheté par un dénommé Pierre Jacquinot en 1847. Une descendante de celui-ci vend le château à une société paroissiale, en 1936, afin d'y établir le presbytère.

Actuellement, une grande partie des bâtiments ont été détruits ; il subsiste la tour d'angle datant du 16e siècle qui a été restaurée, et l'entrée s’effectue dorénavant par une allée d'arbres depuis la route de Jussey.