To, že tvrz stojí na vysokém kopci, způsobilo, že časem přestala odpovídat šlechtickým nárokům na bydlení. Někdy před polovinou 16. století si její majitelé postavili zámeček ve vsi Košťálově pod hradem a žili tam. Neudržovaný hrad chátral a v roce 1622 už byl opuštěný.
