La morte dell'imperatore (1790) comportò il declino della figura di Brambilla: inviso a numerosi membri della corte, egli chiese al nuovo imperatore di essere rimosso dagli incarichi avuti. Si ritirò dapprima nei suoi possedimenti di Carpiano e successivamente a Pavia. Cercò di ritornare a Vienna dopo la battaglia di Marengo, ma durante il viaggio fu colto da una peritonite e morì a Padova il 30 luglio del 1800.