Da questo momento in poi si creerà un profondo legame tra i due uomini tanto che lo stesso Larrey, al momento della partenza di Napoleone per l'Isola d'Elba il 4 maggio 1814, disse che lo avrebbe accompagnato. Ma Napoleone rispose: