La maison est une construction de 1834. Charles Joly la fait bâtir au centre du village, rue de la forge, où la majorité du bâti est à vocation agricole. Il est exploitant d'une des carrières de Selles et a fait fortune dans la fabrication des meules en grès grâce au commerce rendu possible par le Coney.

Cette maison de maître témoigne de la situation sociale de son propriétaire au sein du village. Vers la fin du 19e siècle, la maison se fait même appeler "château Jacquotte" : ceci s'explique par le caractère exceptionnel de la maison au milieu des alignements de fermes, Jacquotte étant probablement le nom du propriétaire de l'époque.

En 1943, un dénommé Roussey achète la maison ; fromager, il souhaite en aménager les caves voutées pour y affiner sa production et habiter la maison. Il utilise les bâtiments autour pour installer ses ateliers. Il récolte le lait auprès des producteurs locaux sur les communes de Selles, Pont-du-Bois et Ambievillers ; il diversifie son activité en installant une porcherie près de l'écluse la plus en aval de Selles. L'activité devient réellement industrielle au cours des années 1970, au moment où les fils Roussey reprennent l'exploitation. Dans les années 1980, de nouveaux bâtiments servant de caves sont construits par derrière la maison. Les caves de la maison deviennent un lieu d'accueil pour les touristes ; en effet, la fromagerie propose à partir de 1998 des visites et des dégustations et un petit musée (exposant des objets et outils liés à une fromagerie) est aménagé dans l'ancienne "orangerie". En 2007, la fromagerie et la maison sont rachetées successivement par de grands groupes laitiers. Le propriétaire actuel est la société Biodéal.