Після вигнання єзуїтів у 1773 р., коли місцевість у результаті першого поділу Речі Посполитої відійшла до Австрійської імперії, а після другого поділу 1793 року — до Росії, замок тривалий час стояв пусткою, аж поки князь Костянтин Чарторийський, який вирішив створити у Клевані польську гімназію, не перебудував замок у 1816 р. Східна стіна була розібрана, а на її місці з'явилися два флігелі, де і розмістилася гімназія. Після третього поділу Речі Посполитої російська влада закрила цей навчальний заклад у 1831 р.