Згодом Ришельє став градоначальником Одеси (з 1803 р.) та генерал-губернатором Новоросійського краю (1805–1814). З 1808 р. його ад’ютантом, а потім і особистим секретарем став Іван Стемпковський. Разом із герцогом де Ришельє у 1810 – 1812 роках він брав участь у військових операціях на Північному Кавказі, і за свою хоробрість отримав чин підпоручика.