Оскільки престиж імператорського роду й так було порушено гомосексуальними походеньками молодшого брата Франца Йосифа I Людвіга (якого врешті-решт було вислано з Відня), для уникнення можливих ускладнень Єлизавета виїхала з двору. З 1875 до 1914 року літньою резиденцією для подружжя була Вілла в Бад-Ішлі. З 1860-х років цісарева проводила час у подорожах, рідко зустрічаючись з чоловіком та майже не брала участі у вихованні дітей.