En 1816, la construction du fort des Rousses est décidée par le Général Haxo, ciblant la défense des cols de Saint-Cergues et de la Faucille. Mais la Commission de défense n'engage aucune décision officielle. En 1840, le renforcement du secteur des Rousses est à nouveau évoquer. Le comité de défense évoque l'implantation d'une petite place forte de dépôt avec pour objectif d’approvisionner le front est du territoire. Mais ce projet est mis en attente. Ce n'est qu'en 1841 que le Ministère des Finances vote un crédit pour la construction d'un fort. L'emplacement du Cernois est choisi, permettant de commander les communications en direction de la frontière helvètique ainsi que de contrôler le défilé de Morez. Le terrain de 93 hectares est acquis par l'Etat en 1842 (sur expropriation pour cause d'utilité publique). Sous la direction du capitaine de génie Bichot puis du colonel de génie Boutauld, les ingénieurs travaillent aux plans. Le projet final est décidé le 18 juillet 1842 et se veut bien ambitieux : le fort disposera d'une capacité de loger 2 500 à 3 000 soldats. Un budget de 5 000 000 de francs est voté pour sa construction, loi du 25 juin 1841. L’édifice aura des fronts bastionnés et les escarpes taillées dans le roc, hautes de 9m. Plusieurs bâtiments sont prévus dont quatre casernes qui se feront face autour de la place d'armes, ainsi qu'un arsenal et deux magasins à poudres (une seul sera édifié en 1849). Deux portes desservent cette forteresse. Les travaux débutent en 1843. Une grande parte de la main d’œuvre est d’origine d’Italie, de la région du Piémont, habituée à travailler le roc pour creuser les souterrains nécessaires au fort. Enfin, la localité comporte des carrières de calcaire facilitant l'acheminement du matériau pour ce chantier.

En 1849, une réduction des projets est adoptée ce qui conduit à amputer la construction de la quatrième caserne (faisant à celle appelée Quitry) et du pavillon des officiers. La principale raison est la détérioration des rocs entourant la forteresse car il est très gélif. Pourtant les mémoires préparatifs prevoyaient une forte résistance malgré la rigueur des hivers dans ce secteur. Cela nécessite d’allouer dans l'urgence un budget supplémentaire pour revêtir les escarpes et aussi garantir la maçonnerie par des terrassements. Les travaux se poursuivent, le fort arborant même la date de 1848 sur le porche d'entrée (mais il est considéré comme prêt à entrer en service en 1862-1863), années qui correspondent à l achèvement des portes et du bâtiment A, seule la demi-lune est encore en cours d’exécution. Une brigade prend ses quartiers. Vers 1868, Les derniers travaux sont apportés sur les fronts 3-4 et des réorganisations comme au bastion 3 avec la construction d'une traverse et du passage couvert. La même année, 81 pièces d'artillerie y sont installées. Au moment de la guerre franco-prusienne, le fort est occupé par 300 mobilisés du Jura et sert de refuge à un corps de l’armée de l'est du général Clichant en janvier 1871. A la fin du conflit, le site est inscrit en 3e classe : le système et l' architecture du fort sont dépassés avec l’apparition du canon rayé. Les murs d'escarpes sont trop hauts ainsi que les deux casernes situées autour de la cour d'honneur. Un avis en date de 1871 propose l’établissement d'un cavalier général qui surplomberait tous les ouvrages du fort ainsi que les deux casernes, et, aussi de doter le fort de trois magasins à poudres supplémentaire en cas de guerre. A partir de 1879, pour améliorer la résistance du fort en cas d'attaque, les fronts est sont équipés de traverses-abris. Des travaux importants de réparations et de modernisations sont entrepris en 1886-87 qui consistent à "épaissir les parapets exposés au feu de l'ennemi [de 6 à 8 m], recharger les terrassements des abris existants; construire de nouvelles traverses en vue de défiler l’armement des hauteurs dangereuses ; construire des magasins à poudre en arrière des diverses parties de la fortification ; compléter le casernement du temps de siège, lequel ne comprend actuellement que les locaux du cavalier 12 [...]". En 1887, deux batteries sont construites pour disposer de positions de tirs autre qu'au fort (elles seront vendues aux enchères vers 1959). En 1888, un procès-verbal d’adjudication est attribué pour des travaux de réparations aux escarpes. Un décret en date du 22 mars 1898 autorise une extension du polygone de tir dans la première zone des servitudes du fort, le bornage initial avait été effectué en 1852.

Le fort est utilisé par les militaires jusqu'en 1919 puis abandonné. En 1925, et de 1930 à 1938, le fort abrite des colonies de vacances. En 1934, les toits couverts de terre sont remplacés par des toits en tuiles. Au cours de cette décennie le fort retrouve un usage militaire dans le cadre de son intégration au secteur fortifié du Jura, une des portions de la Ligne Maginot, bien que le Jura ne soit pas une zone stratégique. Les Allemands l'occupent de 1940 à 1944. Entre temps, un tremplin à ski est implanté sur le glacis vers 1941. Les unités françaises en reprennent possession en 1944. Le fort devient un centre d'entraînement commando jusqu'en juin 1997. Un bâtiment permettant d'abriter les officiers et leur famille est construit après la seconde guerre. En 1997, l'Etat le vend à la commune des Rousses. Il est alors restructuré pour abriter les caves d'affinages des fromageries Arnaud et l'entreprise de lunetterie Comotec, et plus récemment les services des la Communauté de communauté de la Station des Rousses et de la société Sogestar (gestionnaire du domaine alpin) dans le bâtiment Saint-Germain.

La forteresse porte également le nom fort Henry Martin, général qui fut lieutenant au 133e régiment d’infanterie des Rousses et général de corps d'armée libérateur de la Corse en 1943. Une plaque commémorative est déposée sur la place d'armes.