Після смерті Сталіна та арешту Берії Абакумов так і не був звільнений. 1954 року його звинувачено в підробці судових справ, зокрема «Ленінградської справи», та інших посадових злочинах, названо членом банди Берії. Суд визнав Абакумова винним у зраді Батьківщині, шкідництві, скоєнні терактів, участі в контрреволюційній діяльності та засудив до страти. Розстріляний 19 грудня 1954 року в Левашовському лісі.