Княгиня Анна — вдова старченого князя Олександра Олельковича, віленського воєводи, від імені малолітнього сина Семена подала Йосифа на ігуменство монастиря Св. Трійці в Слуцьку, вперше згаданий ним у 1487. В 1488 році як архімандрит того монастиря брав участь в соборі, який обрав Київським митрополитом Йону Глезну; як одноголосно обраний делегат собору і посол Казимира Ягеллончика поїхав до Царгороду, де отримав затвердження патріарха Ніфонта для нього. В 1493 році став місцеблюстителем смоленського єпископа, на початку 1494 став смоленським єпископом.