Die Existenz einer Burg ist bereits im Mittelalter belegt. Im Jahr 1565 beschloss François de Vergy, der damalige Herr von Champlitte, einen Renaissanceflügel an das bestehende Schloss anzubauen. Flämische und italienische Einflüsse prägen das Dekor dieser Fassade.
Leider wurde das Schloss 1751 durch ein Feuer zerstört; nur die Renaissancefassade blieb verschont. Der Wiederaufbau, mit dem der Architekt Colombot aus der Franche-Comté beauftragt wurde, begann 1765 unter der Ägide von Jean François de Toulongeon mit der Wiedererrichtung des Südflügels. Die Arbeiten wurden bis 1782 unter dem Architekten Bertrand fortgesetzt und führten zu dem Gebäude, das wir heute bewundern können.
1804 wurde das Schloss um eine außergewöhnliche Inneneinrichtung bereichert: Panorama-Tapeten mit dem Titel „Die Wilden des Pazifiks“ schmückten die Wände des ovalen Salons im Erdgeschoss und bieten den Besuchern noch heute einen überwältigenden Anblick.
Eine weitere Besonderheit des Schlosses ist der Sommersalon, der auch „die Grotte“ genannt wird und über eine Wendeltreppe erreichbar ist. Der Eingang zu diesem einzigartigen Raum wurde nach den Entwürfen des Bildhauers Luc Breton gestaltet und zeichnet sich durch künstliche Felsen und zwei Säulen aus, die eine einzigartige Atmosphäre schaffen.