Une commanderie templière fut fondée au Saulce par le comte de Joigny en 1192. Elle disparut en même temps que l'ordre sous le règne de Philippe le Bel et fut attribuée à l'Ordre de Saint Jean de Jérusalem (futur Ordre de Malte). Le domaine actuel fut construit à la demande de Jacques Armand de Rogres de Champignelles, qui fut commandeur de 1756 à 1772. Le château fut édifié à l'emplacement de l'ancienne commanderie, pour servir de résidence aux commandeurs d'Auxerre. En 1763, il fit bâtir le petit pavillon carré au milieu d'importants jardins. Le prieur a su tirer partie des eaux importantes issues de l'Yonne et du ru de la Vanoise. Canalisées par des rigoles, elles parcourent le jardin au moyen d'allées d'eau. (Dossier de protection Monuments historiques rédigé par Pascale de Maulmin, 2008). Le domaine comprenait également un moulin placé sur un bief dérivé de l'Yonne (plan cadastral d'Escolives-Sainte-Camille, 1822, Archives départementales de l'Yonne), devenu au 20e siècle l'usine électrique du Saulce (plan du canal dressé en 1930 en vue de la mise au gabarit de la péniche normale de 300 tonnes, VNF, Direction territoriale Centre-Bourgogne, subdivision de Corbigny)