En retrait de la Saône, le bourg s'est structuré autour de l'église (mentionnée dès 1505), reconstruite après la guerre de Dix Ans (1634-1644) à l'instar de nombreux villages en Franche-Comté. En face de l'édifice religieux, un château modeste est construit ; l'édifice figure parmi les maisons les plus anciennes du village. Largement transformée et remaniée, la maison conserve quelques traces anciennes comme le large escalier intérieur en pierre de taille, qui attestent une propriété d’origine noble. En 1828, la propriété disposait encore d'un parc aménagé, indiqué par le cadastre napoléonien ; il n'existe plus.

Depuis la fin du 17e siècle, les maisons se sont implantées de façon mitoyenne le long de la rue principale, actuellement rue Jean-Emile Lotscher. Le bâti est de type agricole. Les fermes, encore en place, sont organisées en trois travées, l'une étant réservée à l’habitation, les deux autres à la grange et à l'écurie. Dans certains cas, la partie habitation et la partie exploitation sont deux bâtiments distincts mais toujours adossées l'une à l'autre. Cela constitue une variante de la ferme-bloc de polyculture si représentative de la région. Plusieurs de ces fermes possèdent des caves accessibles depuis l'extérieur ; elles servaient à conserver le vin issu des nombreuses vignes cultivées aux alentours du village. Néanmoins, elles ne peuvent pas être considérées comme des maisons vigneronnes.

Vers 1780, la communauté villageoise procède à l'installation de deux puits pour répondre aux besoins en eau de la population. Ils sont financés grâce à une partie de la vente de 28 arpents du quart de réserve de bois.

L'apparition d'une administration municipale, après la Révolution, engendre la construction d'édifices publics comme la maison commune en 1840, regroupant la salle de mairie et les écoles, mais aussi d'un presbytère, afin de loger le curé de la paroisse. En 1875, un nouveau cimetière est construit à proximité de la route départementale. Quelques rues se sont greffées à la rue principale, ce qui a eu pour effet de densifier le vieux bourg. Une laiterie est installée dans l'ancienne maison commune au centre du village.

Le conseil municipal décide en 1920 d'ériger un monument aux morts à côté de l'église. La commune fait appel à la société de G. Halley, sculpteur et marbrier installé à Vesoul. Le monument est mis en place en 1923. Les travaux d’électrification débutent l'année suivante et durent jusqu'à la fin de l'année 1926.

Trois croix délimitent le territoire de Chaux-lès-Port. La première en pierre se situe à l'est du village et date de 1884 ; elle porte un Christ mutilé. Une seconde est placée à l'est du village le long de la rue Saint-Antoine. Enfin, la dernière, au sud du bourg, est en fer forgé et repose sur un socle en pierre.

Le village de Chaux-lès-Port a su conserver son caractère agricole : au cours du 20e siècle, le bâti récent est peu présent et s'insère de façon harmonieuse dans le paysage.