Рід Комарницьких володів замком аж до 1868 року. Проте, починаючи з 1834 року власники надавали приміщення замку в оренду для розміщення військ. Після Комарницьких замок переходить у власність до єврейських підприємців, які починають розбирати замкові стіни. Щоб врятувати ситуацію, в 1873 році місцева влада переконує уряд імперії в необхідності придбати замок, де австрійська влада влаштувала судові установи та в'язницю.