Au Moyen Âge, Gevigney dépendait de la châtellenie de Jussey, rattachée au comté de Bourgogne. En 1291, l'existence d'une maison-tour et d'un donjon est déjà mentionnée. La paroisse est très ancienne (12e siècle) et il est cité dans des archives la construction d'une église dans les années 1100. Plus tardivement, Gevigney abrita une chapelle dédiée à saint Georges et dépendante du château. Démolie en 1890, elle se situait juste en dessous de l'ancienne école. Au 14e siècle intervient l'unification de Mercey à Gevigney.

Le village est en grande partie constitué de fermes mais plusieurs maisons anciennes (15e, 16e siècle) témoignent d'une prospérité disparue comme la maison dite "seigneuriale" ou la maison de l'orphelinat dans la rue Montgillard. La principale caractéristique des fermes du village est leur organisation en L ; elles se situent en grand nombre dans la rue Montgillard et la Grande Rue. Gevigney présente les caractéristiques d'un bourg aggloméré où le bâti s'organise le long des rues. Contrairement aux villages structurés suivant la topographie, Gevigney est organisé depuis un centre-bourg regroupant l'église, les édifices communaux et des fermes assez imposantes. Le manque d'espace explique l'organisation en L de la plupart des fermes et l'exploitation maximum de l'usoir, espace situé entre la chaussée et le bâti.

À la fin du 18ème siècle, l'église est reconstruite, ce qui entraîne une réorganisation de l'espace, avec la création d'une place devant l'édifice. En 1864, la commune procède à la réception du cimetière, transféré de l'église à un terrain situé entre Gevigney et Mercey. Les travaux sont réalisés selon les plans et mémoire explicatif de l'architecte J.-B. Martin.

L'arrivée d'eau potable est un besoin constant au 19e siècle. Gevigney dispose de plusieurs puits en 1826, et d'une fontaine-lavoir à proximité la voie de communication vers Jussey. La fontaine Brulard fait l'objet de plusieurs restaurations, notamment celle de 1859 réalisée par l'architecte Martin ; ces travaux ont consisté à construire un mur de soutènement afin de maintenir un niveau d'eau constant et d'éviter un 'affaissement du terrain qui risquerait d’endommager l'édifice. En 1844, la commune demande à Loiselot, architecte à Montigny-lès-Cherlieu de réfléchir à l'implantation d'un nouveau puits ; Loiselot remet un projet le 17 février 1844 qui propose d'installer ce puits au début de la Grande Rue. Ce puits sera converti en fontaine dans la seconde moitié du siècle. En 1923, la commune lance un grand progarmme de restauration de ses édicules d'eau et charge l'architecte Camille Humbaire de réaliser les travaux. Le village compte quatre points d'eau : une fontaine rue Montgillard, une seconde dans la Grande Rue, une troisième dans le quartier des Graviers et enfin, la fontaine-lavoir Brulard. Les travaux consistent essentiellement à consolider et à installer des pavages autour des édifices. Le procès verbal de réception définitive est signé le 20 novembre 1924.

À partir des années 1875, les besoins de transport croissent dans les campagnes, d'autant plus à Gevigney où sont installées plusieurs industries. Le conseil général décide la création d'une ligne de tramway reliant Gray à Jussey. Le tracé projeté, et intégré dans le réseau secondaire, prévoit de passer par le bourg de Gevigney. En 1897 après avis favorable du conseil général, la construction d'une station de gare est entérinée ; elle sera située au niveau du quartier des Graviers, à la sortie de Gevigney. Le service des Ponts et Chaussées, responsable des plans et des implantations sur cette nouvelle ligne, remet son projet à l'Ingénieur en chef Bouvaist, qui validera le dossier le 27 juillet 1900. Les premiers tramways circulent à partir de 1902 et l’intégralité de la ligne est desservie en 1904.

Au cours de la seconde moitié du 20e siècle, de nouvelles maisons apparaissent entre les deux villages, ce qui a pour effet de rapprocher les deux pôles urbains de la commune. La quasi-totalité des fermes a perdu ses fonctions agricoles, ce qui a entrainé des remaniements importants sur les façades. Néanmoins, il est encore possible ici et là d’observer des détails architecturaux intéressants comme ces linteaux de la maison au numéro 14 Grande Rue.