V 17. století nechal zámek přestavět rod Des Fours (později Des Fours Walderode), který do Čech přišel z Lotrinska. Po třicetileté válce zůstal po rodinách velký majetek za "malý peníz" a to lákalo zahraniční šlechtické rody. "První majitel Mikuláš Des Fours sloužil jako plukovník v armádě Albrechta z Valdštejna, což spunktoval jeho otec Louis, který na dvoře císaře Rudolfa viděl, co se v Česku chystá. Napsal synovi 'hele přijeď do Čech, brzy tu budou volné pozemky', a tak se Mikuláš dostal k válečné kořisti - krásnému místu u řeky Jizery," vysvětluje průvodce začátky působení rodu z francouzsko-belgického pomezí. Po zakladateli panství Mikuláši Des Fours se v trezoru dochoval zub, na kterém už jeho potomci demonstrovali starou rodinnou historii.