La paroisse de Prizy est mentionnée pour la première fois au XIe siècle dans le cartulaire de Paray. Une seigneurie y est érigée au XIVe siècle. Un modeste château s’élevait au lieu-dit « Le Parc ». Détruit dans les années 1850, il était qualifié de simple « maison seigneuriale » dans une enquête destinée à la réalisation d’une carte de la province bourguignonne en 1757 (Cote C3530, arch. dép. 21). Une partie de la seigneurie est intégrée à celle d’Amanzé, suite au mariage en 1415 de Jean II d’Amanzé et d’Antoinette de Villon, fille du seigneur de Prizy. Les habitants se trouvaient ainsi sous le joug de deux juridictions seigneuriales distinctes. En 1609, la famille d’Amanzé acquiert l’ensemble du fief et impose finalement son autorité sur l’ensemble de la paroisse.

Les premiers habitants des Bouffiers attestés dans les archives sont les individus mentionnés dans le terrier de la seigneurie de Prizy, rédigé par le notaire Botton en novembre 1574 (Cote E65, arch. dép. 71). A cette époque, le hameau est appelé « Mont », « Mons » ou même "village des Dumont", principale famille habitant alors ce lieu. Le registre mentionne Léonnard Dumont et "de son auctorité, congé et licence, Marie, sa femme, et de leur vouloir et congé, Deny et Benoist, leurs enfans, André Janiau, tant en leurs noms que de Philippe, frère dudict André, et Catherin Janiau, tous en biens commungs, absents, pour lesquels ils se font forts", ainsi que Philibert Dumont (probablement apparenté aux précédents), Catherin Polessard, dit « homme de labour », et Loyse (Louise) Gaillard, veuve de feu Noël Guillot, et ses enfants. Le hameau compte 8 maisons et des granges, parfois accolées aux premières ("maison et grange joignant ensemble").

Le terrier n’est renouvelé qu’en 1708 (Cote E72, arch. dép. 71). Entre temps, le village a été rebaptisé du nom des « Bouffiers » et deux nouvelles familles – les Mommessin et les Despierres – s’y sont implantés par alliance avec les Dumont et les Janiau (parfois orthographié Janneaud). Laurent Mommessin (v. 1617-1677), dont on ne connaît pas la paroisse d’origine, épouse Marie Dumont à la fin des années 1630 (les registres paroissiaux conservent l’acte de baptême de leur fille Benoiste, du 2 septembre 1641). En 1701, Antoine Despierres (1679-1748), Ier du nom, originaire de Gibles, épouse Georgette Janneaud (vers 1677-1727). Les membres de ces familles sont qualifiés d’ « honneste » (honnête) et ont le privilège d’être inhumés dans l’église paroissiale. Ils doivent cette respectabilité et ce rang social à leur activité de marchand, qui leur confère une certaine aisance financière, mais aussi à leur statut de fermier, et donc de gestionnaire des terres de la famille d’Amanzé et du prieuré de Saint-Germain-en-Brionnais. Les Despierres obtiennent le fermage du domaine du Parc en 1731 (procès-verbal de visite du domaine du Parc, cote B641, arch. dép. 71) et celui de la réserve du château d’Amanzé en 1776. Les Mommessin gèrent les biens des moines de Saint-Germain entre 1742 et 1789. Forts de ce pouvoir, ils vont s’imposer, au XVIIIe et XIXe siècles, parmi les principaux acteurs du développement de l’élevage et du commerce des bovins charolais.

Les registres-terriers témoignent d’une évolution du paysage de la paroisse dès la fin du XVIIe siècle, avec une augmentation de la proportion des prés dans les terres agricoles marquant les prémices d’un couchage en herbe. Le terrier de la seigneurie d'Amanzé de 1702 et celui de la seigneurie de Prizy de 1708 mentionnent ainsi 13 articles en nature de prés appartenant aux habitants des Bouffiers et qui étaient auparavant d'une autre nature. Plusieurs mentions indiquent ainsi "un paquier [...] qui fut terre" ou "un pré qui fut terre et vigne". Le comte d’Amanzé participe lui-même à ce mouvement en cédant des parties de sa réserve seigneuriale (comme le bois dit « de Montillouze », en grande partie défriché et converti en prés) et plusieurs terres mainmortables aux habitants de la seigneurie. En 1823, au moment de l’établissement du cadastre, la commune est majoritairement couverte de prés (210 ha sur 414). Si l’on ajoute les 32 ha de pâtures, la surface en herbe s’élève à 58,4 % de la superficie communale, contre 29,7 % pour les terres labourables (123 ha), 1,6 % pour les vignes (un peu moins de 7 ha) et 7 % pour les bois (29 ha).