Дружина з 1919 року — Ольга Петрівна Бош (пом. 1966) — більшовичка, донька Євгенії Бош. Син — Олег (1923—1980), спеціаліст у станкобудівництві та обробці металів; крім того ще до його народження подружжя взяло з сиротинця дівчинку. Також в сім'ї жив син репресованого Віталія Примакова.