Les bâtiments appartenaient à la famille Janneaud au XVIIe siècle et ont été transmis à Antoine Despierres, Ier du nom, suite à son mariage en 1701 avec Georgette Janneaud. Le couple ne s'y installe que quelques années plus tard. Antoine est ainsi mentionné pour la première fois dans le rôle de taille (registre d’impôt) de Prizy en 1709. Après la mort de Georgette et son remariage avec Marie Desclaux, Antoine délaisse les bâtiments pour s’installer dans la première ferme, à l'entrée du hameau. Il les revend à Claude Vernay, marchand de Saint-Julien-de-Jonzy. Les Despierres récupèrent finalement le bien « qu’ils avoient au lieu des Bouffiers de la ditte commune de Prizy » (Cote 3E 5895, arch. dép. 71) en le rachetant au sieur Paul Préaud, de Marcigny, et à la dame Marie-Magdeleine Vernay, le 23 décembre 1809. L’acquéreur de la propriété est Claude Despierres (1743-1823), petit-fils d’Antoine, Ier du nom. Cadet de la famille, il avait quitté les Bouffiers après son mariage en 1776 pour s'installer à Amanzé, où il était devenu fermier du domaine du château. Il s'était ensuite installé au domaine du Parc, à Prizy, qu'il avait acheté comme bien national pendant la Révolution.

Après la mort de Claude Despierres en 1823, son fils cadet, Claude-Marie (1781-1844) revient aux Bouffiers. Il exploite le domaine (18,3 ha) en société avec son frère aîné, Antoine, dit « Cousin » (1779-1860). Son inventaire après décès (Cote 3E 24491, arch. dép. 71), réalisé les 15 et 16 juillet 1844, précise que cette société « existait depuis longtemps sur convention verbale » et que les frères « jouissaient en commun de leurs biens, en confondant leurs revenus ». En plus des Bouffiers, ils possédaient des terres à Saint-Didier et « exploitaient aussi en commun la ferme de Sarry appartenant à M. Neyrand [où résidait Antoine] ». Le document précise également que « les opérations de cette société consistent presque uniquement dans le commerce de bestiaux d’embouche ». Leur domaine des Bouffiers se compose ainsi à 80 % d’herbe avec notamment les prés de Prizy (6,9 ha) et de Colas (5,2 ha). Après la mort de Claude-Marie, son fils agrandit l’exploitation, portant sa superficie à 26,7 ha en 1874. Sa dernière descendante, décédée en 2005, a habité les Bouffiers jusqu'au début des années 2000. La maison d’habitation est aujourd'hui une résidence secondaire. Les dépendances, vendues séparément en 2001, ont été en partie détruites, mais abritent toujours une activité agricole.

La maison du domaine est un bâtiment complexe, qui résulte en premier lieu du regroupement de deux bâtiments mitoyens, puis de phases d’agrandissement. Le registre-terrier de 1708 mentionne « deux maisons haultes et basses [avec un étage et un rez-de-chaussée] », qui correspondent à la partie centrale (bâtiment A) de l’édifice actuel, sans doute la plus ancienne, et à sa partie est (bâtiment B). Elles peuvent être datée de la seconde moitié du XVIIe siècle. Un premier agrandissement (bâtiment C) est réalisé dans le courant du XVIIIe siècle, à l’ouest. Une petite tour carrée (pigeonnier ?) est ajoutée probablement à la même époque sur la façade postérieure du bâtiment B. Un quatrième volume est ajouté dans la seconde moitié du XIXe siècle, à l’arrière du bâtiment C, formant aile en retour d’équerre sur le jardin. A la même époque, l’ensemble des ouvertures sont reprises et agrandies. Les façades du bâtiment A, auparavant situées en retrait, sont également reconstruites à l'aplomb de celles des autres bâtiments. La façade postérieure est venue ainsi masquer l’escalier, jusque-là ouvert sur l’extérieur.

Les anciennes dépendances ont été en grande partie détruites après leur rachat en 2001. Le bâtiment principal, tel qu’il est décrit dans le terrier de 1708, était composé de plusieurs éléments : « grange, deux étables, pressoir ». Seule une petite portion de l’édifice, abritant une ancienne étable et une remise, est aujourd’hui conservée. Anne-Marie Oursel évoque en 1971, dans ses fiches d’inventaire du patrimoine de Saône-et-Loire, une pierre d’encadrement d’une ancienne porte « remployée dans la maçonnerie d’un mur d’enclos » et portant la date de 1692, probablement celle de la construction du bâtiment. Cet élément n’a pas pu être retrouvé. D’autres bâtiments ont été ajoutés par la suite : des soues à cochons (XIXe s.) et, dans leur prolongement, des garages (première moitié du XXe s.).