Il ne reste rien aujourd'hui du château situé dans le bourg de Pougues-les-Eaux. Sa façade nord, côté bourg, est connue grâce à une carte postale ancienne. Elle montre un édifice composé d'un corps central, couvert d'une toiture à deux pans, encadré par deux pavillons vraisemblablement plus tardifs, couverts de toits brisés. Le château figure sur le plan du cadastre ancien dit napoléonien (1812). Il appartient à la famille Clément (Joseph, puis Claude-Hugues). Il est ensuite acquis par François-Louis-Amédée Lutton, qui joue un rôle important dans le développement de la station thermale à partir de 1854. Dès cette époque, l'édifice a changé de destination ("Le château, actuellement mairie et justice de paix, n'offre qu'une façade élégante et un beau parc dont les allées de tilleuls longent la route de Fourchambault") d'après Roubaud (1860). Henriette Rodier de Montlouis, épouse d'Alexis Frébault, un associé de Lutton dans la gestion de l'établissement thermal, devient à son tour propriétaire du château dans les années 1860. Plusieurs dessins relatifs à la construction d'une cuisine (1864) et d'une remise-sellerie-écurie (non datés) sont conservés dans le fonds de l'architecte Adophe Bouveault. Ce dernier avait déjà élaboré, à la demande de la propriétaire, plusieurs projets pour une villa à construire dans le quartier thermal vers 1862. Dans un acte du 12 décembre 1874, Madame Frébault cède le château à la commune. Elle reçoit en échange un terrain, route de Guérigny, et une somme de 48 000 francs. La commune lance alors d'importants travaux dans l'édifice pour y installer les écoles, la mairie et la justice de paix pour un montant d'environ 72 000 francs. Malgré ces travaux, l'édifice est finalement abandonné et détruit au début des années 1920. L'actuelle mairie-école est construite à l'emplacement du parc du château entre 1913 et 1918.