Після його смерті в 1527 році сини і внуки поділили місто на дві частини — Шумськ із замком та Пігаси, розміщені на лівому березі Вілії. 1580 року Пігаси виділилися в самостійний населений пункт під назвою Рохманів. Близько 70 років точилася боротьба спадкоємців, внаслідок чого Шумськ далі занепадав і перетворився на невелике містечко.