Dominant la vallée de la Loire en une position stratégique, la forteresse de Chaumont fut construit au Xème siècle par Eudes 1er, comte de Blois. Pour punir la famille d'Amboise, Louis XI fit bruler et raser Chaumont en 1465. Le château fut reconstruit dès 1466 par Charles d'Amboise, et achevé en 1510 par ses deux fils (prénommés Charles, tous les deux !). Catherine de Médicis acheta Chaumont à la mort de son mari d'Henri II. Elle y résidait déjà sans doute depuis quelques temps alors que le roi trouvait plus plaisant de loger au château de Chenonceaux afin de pouvoir rendre visite à Diane de Poitiers, de 20 ans sa cadette. A la mort du roi, Diane fut contrainte d'accepter Chaumont en échange de Chenonceaux convoité depuis toujours par Catherine de Médicis.
En achetant CHAUMONT au début du XVII° siècle, le banquier Scipion SARDINI ouvre la liste d'une longue succession de propriétaires, dont on pourra retenir en 1739, Nicolas Berthin de VAUGUYEN, maître des Requêtes au Parlement de PARIS, qui détruisit l'aîle Nord du château et en 1750, Jacques-Donatien LE RAY, Grand Maître des Eaux et Forêts de BLOIS, Intendant des Invalides, qui installa à Chaumont une verrerie, une fabrique de faïences et uen manufacture de médaillons de terre, dirigée par le graveur italien Jean-Babtiste NINI. Pour sauver le château de la tourmente révolutionnaire, Le RAY légua tous ses biens, en s'en réservant toutefois l'usufruit, à son fils Jacques-Donatien de nationalité américaine.
A la fin du XIXème siècle, les princes de Broglie réaménagèrent luxueusement le château et firent dessiner en 1884 le très beau parc paysager par Henry Duchêne.
Il eut des hôtes prestigieux : Thomas Becket, avant son assassinat, Pierre d'Amboise et ses enfants aux destinées brillantes, Mme de Staël exilée par Napoléon et Mary Say, riche héritière qui s'y ruina.
Son magnifique parc héberge un bon nombre d'arbres remarquables, notamment un cèdre gigantesque planté par Jacques-Donatien LE RAY en 1754.