Ještě předtím ale panství prošlo barokní přestavbou. Jetřich z Germersheimu a Harpershofu nechal roku 1655 opravit poničené tvrze na jednopatrový zámek o čtyřech křídlech s rozměrným sálem v patře. Jeho zásluhu na nové podobě zámku dodnes připomíná kamenný alianční znak Jetřicha a jeho manželky Voršily umístěný nad vstupním portálem.
