Současná podoba zámku vznikla na obvodu středověkého hradu. "Základy pochází z doby někdy kolem roku 1280, stál tu hrad, který byl postupně přestavován. Z těch nejznámějších rodů tu sídlili například Markvarticové, Vartenberkové nebo Krajířové z Krajku, kteří do severních Čech přišli z jižních panství," vysvětluje Holub v kapli Nejsvětější Trojice, která dobře ilustruje, jak původní tři podlaží středověkého hradu majitelé přestavěli na modlitebnu a balkon s varhanami.