У її щоденнику зберігся запис, що смерть Олександри розбила всі її надії і підірвала кохання до чоловіка. Синові Григорію, який народився 30 квітня 1855 р., Єлизавета віддала усю любов і ніжність. Проте дуже скоро зрозуміла, що чоловіка не кохає — вони були духовно далекими людьми. У листах до племінника Григорія Милорадовича вона називала чоловіка «дідом».