А незабаром після того, як Російська імперія уклала з Наполеоном Тильзитський мир, становище Розумовського стало маловтішним, і в липні 1807 року він пішов у відставку. Андрій залишився у Відні, займаючись, головним чином, облаштуванням своєї відомої картинної галереї і не менш славних музичних вечорів.