У вільний же від службових обов’язків час Степмковський займався головною справою його життя – вивченням стародавньої історії, яка його завжди живо цікавила. Ще під час перебування у складі російських окупаційних військ у Парижі протягом 4 років Стемпковський жваво цікавився історією, старожитностями, познайомився з багатьма французькими спеціалістами в галузі стародавньої історії. У Французькій академії написів та словесності, де займалися вивченням текстів стародавніх авторів, він знайомиться з секретарем цієї установи Дезіре-Рауль Рошеттом. Можливо, завдяки цьому знайомству Стемпковський у 1821 р. перебував у Парижі, де був прийнятий членом-кореспондентом Академії написів і витончених мистецтв Франції.