У густих лісах вздовж річки до кінця XVII століття існувало до сотні старообрядницьких обителей — чоловічих і жіночих. Розгром Керженца почався за Петра I. У Нижньому Новгороді був страчений знаменитий старообрядницький диякон Олександр, що склав книгу Відповідей на питання Питирима: йому відрубали голову, а тіло його спалили і попіл кинули у Волгу. Після розгрому Керженця старовіри втекли на Урал, в Сибір, у Стародуб, на Вєтку і в інші місця. Вихідців з Керженськиїх скитів на Уралі і в Сибіру стали називати кержаками, цей термін в подальшому поширився на всіх старообрядців Уралу і Сибіру.