Поживши тут близько шести років, Феодосій задумав віддалитися до Пензи. Тим часом поблизу оселився чернець Герасим з Краснослободського монастиря. Якийсь час обидва відлюдники жили разом, проте незабаром Феодосій відійшов до Пензи, і Герасим залишився один. Поживши тут якийсь час, Герасим повернувся до Краснослободського монастиря, очевидно, боячися злодіїв та розбійників, які стали робити йому «многія пакості».