Замок, позбавлений дбайливих господарів, почав занепадати та руйнуватися. Торгові центри відсуваються вглиб Російської імперії, Олику заселяють переважно бідні євреї. У 1838 р. завалилися будинки колегії та семінарії, а у 1870 р. згоріла ратуша з безцінним міським архівом.