У 1629 році в Олеському замку народився майбутній король Польщі Ян III Собеський. Є дані про те, що у Даниловича в Олеську перебував батько Богдана Хмельницького — Михайло. У середині XVII століття, тобто під час визвольної війни, замок був частково зруйнований і лише в 1680-х роках його відбудовано, а після придбання Собеськими перетворено на королівську резиденцію.