Але ця місцевість довгий час залишалась малозаселеною. Пізніше, з 1497 року, Княжу Луку стали називати Карачевою Пустиню, за ім'ям першого її власника. 1585 року Ян Замойський (1545—1605), який на той час володів цими землями, одержав від короля грамоту на спорудження замку — все володіння і фортеця дістали назву Шаргород. 26 січня 1588 року Шаргород дістав магдебурзьке право, також герб із таким зображенням: