Був одружений з родичкою цариці — К. Наришкіною. З їх синів, старший — граф Олексій Розумовський (1748—1822), був міністром народної освіти (1810–1816), сприяв поширенню мережі початкових шкіл та гімназій, дбав про поліпшення методів навчання, цікавився особливо природничими науками й у своєму підмосковному маєтку — с. Горенках створив великий ботанічний сад і зібрав найбільшу в імперії бібліотеку з природознавства; разом з тим він був містиком і масоном та віце-президентом Російського Біблійного Товариства. Його нешлюбні діти дістали ім'я Перовських.