L'agglomération castrale est située sur un éperon barré divisé en une ville haute (basse-cour) occupant la pointe du promontoire et au sud, en un château barrant le paysage (détruit en 1809). Sa superficie est alors d'environ 1,5 hectare. Un bourg-dessous de forme semi-circulaire va être créé en contre-bas, sa superficie intra-muros est de 6,7 hectares (306 x 250 m) ; Rougemont est ainsi l'un des bourgs médiévaux les plus vastes du Doubs. Quatre portes donnaient accès au village : les deux portes Fourquay au sud (détruites), la porte du moulin (détruite) face au faubourg de Rougemontot et la porte du vieux moulin en direction de Baume-les-Dames. Cette dernière (conservée mais très restaurée au 20e siècle) est formée d'un simple arc en plein-cintre appareillé. Elle est accolée à une maison possédant une tour à deux archères-canonnières en trou de serrure. La porte de l'ancienne basse-cour ne conserve que ses deux piédroits dont un est épaulé par un contrefort. Du temps de l'historien Jules Gauthier, en 1890, elle possédait encore son arc en plein-cintre. Non loin de là, sont encore visibles les vestiges d'une tour du château accolée à la "maison d'autrefois", et un pan de muraille en contre-bas du presbytère. Certaines maisons de la ville basse sont construites sur le tracé des fortifications, englobant une part de leurs maçonneries, et longeant l'ancien fossé. Actuellement, le mur d'enceinte est conservé de manière très parcellaire ; des murs très épais sont encore décelables dans certaines constructions : 1,20 m (en AL 13), 1,50 m (en AL 27 et 28) ou encore sur les parcelles AK 185, 255 et 187. En AK 187, le rempart est conservé sur environ 5 m de hauteur, son sommet est couvert de lauze et on constate la présence de baies bouchées, dont une à meneau, probablement percées au 16e siècle. Un important massif en moellon visible rue de la Grande Côte est tout ce qui subsiste de la porte Fourquay (ou "porte dessus") menant à la Citadelle. Enfin, une maison localisée carrefour des Halles (AL 27) possède une archère-canonnière en "trou de serrure", formée d'une fente de visée surmontant un orifice circulaire, type très courant en Franche-Comté. Elle est percée dans la cave de l'aile en retour construite au-delà du tracé de l'enceinte. Peut-être est-il permis de voir en cette construction saillante les vestiges d'un élément défensif (serait-ce la tour Rolin ?) datant de la fin du Moyen Age.