Za okupace Němci vyvlastnili celý areál a oba původní majitele v roce 1941 zatkli a deportovali do ghetta Terezín. Oskar Fischer v něm zahynul, Leo Kosák zemřel v Osvětimi rok před koncem války. Během komunismu sídlila na zámku státní pneumologická klinika.
