Selon toute vraisemblance, ce château fut édifié d'après un projet de l'architecte italien Sebastiano Serlio, venu en France en 1541 à la demande de François Ier. Chef d'oeuvre de l'architecture de la Renaissance, il eut pour commanditaire Antoine III de Clermont-Tonnerre qui n'avait pas totalement renoncé aux aménagements défensifs (pont-levis et fossés seront supprimés au 19e siècle). Lieutenant général du Dauphiné, grand maître des Eaux et Forêts, Antoine III était le beau-frère de Diane de Poitiers. Les travaux débutèrent, semble-t-il, en 1544-1545 : la date 1546 est gravée au dessus de la porte de la façade sud, avec la devise SOLI DEO GLORIA. Dans la cour intérieure, la devise des Clermont-Tonnerre se répète sur les façades : SI OMNES EGO NON. Antoine III mourut en 1578 : son petit-fils Charles-Henri, héritier du château, poursuivit les travaux mais apporta quelques modifications, notamment en doublant le nombre des fenêtres. La chapelle fut consacrée en 1604. Le château reçut Henri IV en 1591 et Louis XIII en 1631. Après le décès de Charles-Henri (1640), François de Clermont y reçut Louis XIV. Le château fut acheté en 1683 par François Michel Le Tellier, marquis de Louvois, ministre de Louis XIV qui avait fait appel à Robert de Cotte, ou peut-être à Jules Hardouin-Mansart, pour apporter quelques modifications et construire les communs, tandis qu'André Le Nôtre était chargé de dessiner le parc. Descendant de Louvois, François Michel César Le Tellier, marquis de Courtanvaux et comte de Tonnerre, transforma le parc et les jardins, en 1761, comme l'atteste le recueil de planches aquarellées qu'il fit dessiner à cette occasion, établissant un état des lieux pour les années 1759-1761. Ce recueil indique que le "pavillon au milieu du Grand Etang" fut construit en 1761 "sur les dessins de Mr Devigny, et conduite de Mr Chauvelot" et que le jardin fut "planté l'an 1761", en même temps qu'on y créait deux cascades, l'une dite ronde et l'autre carrée. Devigny, auteur des dessins du pavillon de jardin, pourrait être l'architecte Pierre Vigné de Vigny. Après la Révolution, le dernier marquis de Louvois, Auguste, s'employa à faire restaurer le château, notamment les décors intérieurs dont certains furent modifiés. Il fit également combler les fossés, redessiner le parc et réaménager le pavillon de jardin. En 1845, les Clermont-Tonnerre rachetèrent le château de leurs ancêtres : les salles firent l'objet de travaux sous la conduite de l'architecte Henri Parent. En 1940, l'édifice fut transmis à la famille de Mérode. En 1999, après deux ventes et une expropriation, la Société Paris Investir SAS acheta le château et entreprit sa restauration.