У 1719 році він продав його Станіславу Матеушу Жевуському. Його син — волинський воєвода Северин Юзеф Жевуський — перетворив замок на розкішну резиденцію, також заклав в Олеську монастир капуцинів. Після смерті С. Ю. Жевуського власником Олеська став його брат Вацлав Пйотр Жевуський, за чиїм наказом у 1755 році більшість родинних цінностей було перевезено до Підгорецького замку. Короткий час в 1785—1788 роках монастир капуцинів використовувався австрійським урядом як військовий шпиталь.