Après une première occupation humaine dans la seconde moitié du 10e siècle au lieu-dit Sur Saint-Denis, éperon dominant la rive gauche de la Loue et le village de Scey-en-Varais, un premier château est mentionné en 1083. Un bourg, avec lieu de culte, s'est développé à ses pieds sur la commune de Cléron. Une première tour, dont les vestiges dominent encore le site, aurait été édifiée par Pierre de Scey, nommé gardien du comté de Bourgogne par l'empereur Frédéric 1er en 1166. La seconde, dite de Montsoufflot, à l'extrémité de l'éperon, aurait été élevée par l'un de ses fils après 1179, date du décès de Pierre de Scey. Les tours et le bourg sont dévastés par les troupes de Louis XI en 1480. Après cette date, une chapelle, sous le vocable de Saint-Denis, est édifiée sur la face est de la première tour qui, depuis, porte ce nom. Elle sera achevée entre 1565 et 1576. En 1494, l'empereur Maximillien d'Autriche autorise la reconstruction des fortifications. En 1550, les ruines sont achetées par Nicolas Perrenot de Granvelle à Philippe de Vienne. Son fils Thomas Perrenot de Granvelle, avec l'aide de son frère le cardinal de Granvelle, fait reconstruire le château entre 1560 et 1576 sur les plans de l'architecte Richard Maire dit de Nancray. Ce château est détruit en 1674. Les ruines sont consolidées au 19e siècle par la famille de Scey, de nouveau propriétaire des lieux. Le site est classé depuis le 16 mars 1934, le château depuis le 4 juin 1987. Actuellement fouilles archéologiques et restaurations se poursuivent.