Місто на 400 років стало вотчиною магнатів Радзивіллів — головних поборників та захисників самостійности Литовської держави. У середині XVI ст. Оликою володів Микола Христофор Радзивілл «Чорний», 1547 р. отримав від імператора Карла V спадковий титул «Князя на Олиці та Несвіжу», затверджений у 1549 р. королем Сиґізмундом ІІ Авґустом.