Але літературне середовище, дух літературних гуртків і суперництва відштовхнув Толстого від нових знайомих. Їхні інтереси здаються йому дрібними і нікчемними, життя — метушливим і безглуздим. Толстой відводив душу в гульні з циганами і в нестримній картярській грі. У травні 1856 залишив Петербург і поселився в Ясній Поляні.