З архівних документів випливає, що його предки походили з запорозьких козаків, які в кінці XVIII століття переселилися до Таганрога. Батько Якова Павловича був матросом, а мати — економкою у заможній графській сім'ї Капністів.