Але цей замок також був дерев'яним, і в 1580 році його спалили татари. У вогні загинули всі даровані місту грамоти, а з ними і без того куці права міщан. На одностайне прохання місцевої шляхти, за Люблінською унією 1569 року Брацлавщина перейшла під владу Речі Посполитої.