Його вплив на цесаревича Павла Петровича (майбутнього Павла I, друга дитинства Андрія) чимало турбував Катерину II. У 1776 році вона вирішила віддалити Розумовського від двору і вислати з Петербурга. Через 3 роки Катерина II призначила його послом у Неаполь. Дипломатична служба