Він мав 7 дітей від двох шлюбів, один з яких — з Анною Дмієтрівною з російського роду Попових, від якого народилася Олександра — мати майбутнього композитора. Олександра Андріївна вміла грати на фортепіано і співати, 1833 року стала другою дружиною Іллі Петровича і народила шестеро дітей, серед яких Петро був другим. Мати займалася вихованням дітей, учила їх музики, розмовляла з ними тільки французькою.