Le site de Chassagne est d’abord un site castral, avant d’être transformé en domaine agricole. En 1970, Raymond Oursel, historien et ancien directeur des archives départementales de Saône-et-Loire, a estimé que la tour était une construction du XVIe siècle. Les plus anciennes archives concernant le fief de la Chassagne datent, en effet, des années 1590, bien que son origine soit sans doute plus ancienne. En 1666, l’enquête de l’intendant de Bourgogne, Claude Bouchu, précise qu’il s’agit d’un « arrière-fief de Diou », autrement dit un fief dont les seigneurs étaient vassaux des comtes de Dyo, dont la justice s’étendait d’ailleurs en partie sur la paroisse d’Ouroux (Arch. dép. 21, cote C 2889). Le château a donc pu être construit dans le dernier quart du XVIe siècle, comme tend à le confirmer la présence d’éléments de décor antiquisant, dans le style Renaissance, tels les pilastres et le linteau (avec cartouche) encadrant la porte de l’escalier du donjon ou les consoles ornées de volutes, soutenant les manteaux des cheminées à l’intérieur. L’aspect fortifié – présence d’une canonnière avec trou de visée et embrasure extérieure, flanquant l’ancienne porte d’accès au château – peut être justifié par le contexte des Guerres de religion, durant lesquelles le Brionnais fut plusieurs fois traversé par les troupes protestantes et les troupes de la Ligue (parti des ultra-catholiques) entre 1570 et 1594.

L’aspect originel du château est encore partiellement lisible aujourd’hui. La tour, dont la fonction était principalement résidentielle, abritait le logis seigneurial sur au moins 5 niveaux (cave, rez-de-chaussée et trois étages). Elle est décrite comme « fort élevée » par le curé de la paroisse en 1757 (Arch. dép. 21, cote C 3530). Le dernier niveau a été entièrement supprimé, le quatrième partiellement. A l’image des niveaux inférieurs, les pièces de cet étage étaient couvertes de voûtes sur croisée d’ogives, dont seuls les culots (marquant le départ des voûtes) sont aujourd’hui conservés. La tour a été ensuite maladroitement couverte par un toit à deux pans. Cet arasement du sommet est ancien. Une description de 1847 (Donation entre vifs de Mr Desgranges à ses enfants, arch. dép. 71, cote 3E 10421) indique que le bâtiment ne s’élevait déjà plus que sur trois niveaux à cette date, « une chambre au rez-de-chaussée et une chambre au-dessus et grenier régnant sur le tout ». Des traces d’arrachements, sur le mur extérieur de la tour, indique l’emplacement de l’ancienne porte d’accès du château, munie peut-être elle aussi d’éléments défensifs. La cour intérieure devait être fermée par un mur et entourée par différents bâtiments, dont l’ancienne chapelle Sainte-Croix, située aujourd'hui dans la grange et transformée en étable.

A la fin du XVIe siècle, le fief appartient à Jean de Sivry (ou de Civry), époux d’Hélie, fille de Philibert de la Cour, seigneur de Moulin et des Pontets, et à sa sœur, Claudine, épouse d’Hugues de Mazilles, seigneur du Villard et de Cloudeau. Dans le deuxième quart du XVIIe siècle, le fief est aux mains de la famille de la Cour, en la personne de Louis, écuyer, seigneur de Moulin, Saint-Martin-d’Ozolles et Chassagne. Vers 1670, il est vendu à la famille Barthelot, seigneur de Rambuteau, dans la paroisse d’Ozolles. Cette famille divise la réserve du château en deux domaines agricoles, qui sont vendus séparément au début du XIXe siècle, l’un à Antoine Desgranges (1750-1808), cultivateur, natif de Mans (Dyo), l’autre à Jacques Labrosse (1767-1842), cultivateur à la Tuilerie (Dyo). La tour, avec la dépendance attenante, devient la propriété d’Antoine Desgranges. Son exploitation s’étend sur environ 20 hectares, dont 11,2 hectares de cultures, un jardin et verchère d’1 hectare, un étang de 30 ares et 7,5 hectares de prés et pâtures, comprenant un pré d’embouche, le pré du Bois de l’haie, de 2,3 hectares. La propriété est divisée une première fois à la mort d’Antoine entre son fils, François (1786-1861), et son gendre, Benoît Lorton (1787-1855), natif de Colombier-en-Brionnais, qui revend sa part aux Labrosse vers 1840. En 1847, François Desgranges transmet ses biens à ses deux fils, Benoît (1817- ?) et Jean (1825- ?), de son vivant. Après être restés propriétaires en indivision pendant quelques années, ces derniers procèdent à un second partage dans les années 1860.

Dans la seconde moitié du XIXe siècle, de nouveaux bâtiments sont ainsi construits. Une petite maison sur deux niveaux, coiffée d’un toit à deux pans, est ajoutée contre la tour, afin d’en augmenter la surface habitable. Une dépendance abritant des soues à cochons et un pigeonnier sont également édifiés à l’ouest de celle-ci. Enfin, un nouvel ensemble avec habitation et dépendances agricoles est construit à l’est des anciennes constructions. Ces évolutions ne sont pas mentionnées dans la matrice cadastrale, mais ont probablement été réalisées à la fin des années 1860 et au début des années 1870, période pendant laquelle Benoît et Jean se marient, fondent leurs foyers respectifs et partagent la propriété. Benoît n’ayant pas eu d’enfant, l’ensemble revient en 1900 à la fille de Jean, Jeanne-Marie Desgranges (1875- ?) et à Victor Claude Circaud (1868- ?), de Saint-Christophe-en-Brionnais, qu’elle a épousé en 1896. Un de leurs descendants est toujours propriétaire des lieux. Il a poursuivi l’activité agricole jusque dans les années 1980.