Згодом, після народження Костянтина, Ушинські переїхали до Полтави, а потім, 1832 року, через призначення Дмитра Григоровича суддею, вони переїхали до міста Новгорода-Сіверського на Сіверщині, де народилась донька Софія. Там сім'я відставного підполковника жила у приватній садибі за містом на високому березі Десни.