Як зауважив П. Пічугин: У 1954, будучи лауреатом найвищих державних нагород, Козловський покинув Великий театр. За спогадами доньки Козловського, Анни, він образився на керівництво, яке не заступилося за нього, коли вийшла стаття в центральній пресі про немислимі гонорари Козловського. Втім, Козловський продовжував виступати як концертний виконавець. Останні роки