Пізніше Холм знищили шведи, московське військо, багато потерпів під час Північної війни (1700—1721 рр.). Наприкінці XVIII століття у Холмі жило близько 2 500 мешканців, у тому числі понад 1 000 євреїв, 1 000 поляків, 200 українців. 1795—1914