Les archives mentionnent le site depuis le 11e siècle. Il a appartenu à la famille d'Amanzé (Moyen Age et Renaissance). Il appartient au 18e siècle à la baronnie de Digoine, achetée par les de Reclesne en 1700 (H. Mouillebouche, M. Martens, L'habitat fortifié en Bourgogne Ducale, base de données, 2011). Le cadastre napoléonien (Archives départementales de Saône-et-Loire) montre en 1828 un corps de logis en L flanqué de deux tours d'angle rectangulaires au nord. Les communs étaient situés à l'est du logis et sont toujours en place. "L'ancien château seigneurial qui existait au Montet a fait place à une habitation élégante, occupé par le propriétaire de la fabrique de poterie dont il est fait mention au commencement de cette notice" (Annuaire de Saône-et-Loire de 1856). "[...] Le château appartenait en 1900 à Mademoiselle Pajot " (Annuaire de 1900). "[...] Les démolitions de l'ancien château qui aurait appartenu à Jean d'Amanzé ont rendu une pierre sur laquelle se lit la date de 1270", lit-on dans la monographie de Palinges (Monographies des communes du Charollais et du Brionnais, par F. M. D., 1904, in Mme Oursel, 1972, Inventaire du patrimoine, Archives départementales de Saône-et-Loire). Le château est depuis longtemps la demeure d'abord des maîtres de la forge, puis de la poterie, installée en face, au moulin du Montet (IA71002446). Lorsque le domaine est vendu en 1850, il est racheté par le maître de la poterie Louis Ruault.