En 1237, Hugues de Chalon et sa femme Alice de Méranie reçoivent de Jean de Chalon le château d'Ornans, où selon la tradition serait né leur fils Othon IV. Ce dernier fonda la chapelle Saint-Georges en 1289. En 1295, Othon IV vendit le château au comte de Bourgogne. Ce qui provoqua la guerre avec les barons comtois conduits par Jean de Chalon Arlay. Le château fut alors saccagé et détruit en 1300. Un accord fut trouvé entre le roi de France et les barons comtois qui furent obligés de reconstruire le château en 1301. La date 1369 qui est gravée sur la clef de voûte du choeur correspond sans doute à une reconstruction. En 1475 l'enceinte du château fut renforcée par Charles le Téméraire au moment de la guerre contre les Suisses. La chapelle subit des travaux en 1500 (date inscrite sur le linteau de la porte latérale gauche). Vers 1650, une demi-lune est construite pour défendre les abords de la grande porte du château. Lors de la 1ère conquête de Louis XIV en 1668, le château fort capitule sans combattre. Le 5 mai 1674 le château est complétement rasé par le maréchal de Luxembourg à l'exception de la chapelle Saint-Georges. Une maison, construite avant le cadastre de 1813, et modifiée depuis, s'élève à l'extrémité de l'éperon.