Коли на трон зійшов його племінник Людовик I — король польський і угорський, замок перейшов до князя Владислава Опольського. Останній, проводячи політику загарбання й окатоличення галицьких земель і добиваючись від Риму права на створення окремої Галицької митрополії РКЦ, передав у 1375 році Олеську фортецю разом із Рогатином і Тустанню галицькому латинському архиєпископу — очільнику новозаснованої Галицької архидієцезії. Це викликало протест руського населення — і замок захоплено ненадовго повстанцями. У 1377 році король розмістив тут угорські війська, які через 5 років, зразу після смерті Людовика І, за викуп залишили замок Любарту.