У 1934 році розкрилися порушення Абакумова, що виявилися в тому, що він використовував конспіративні квартири для зустрічей з жінками Після приходу в НКВС Л. П. Берії, з грудня 1938 року — в. о. начальника, а в 1939—1941 роках — начальник управління НКВС по Ростовській області. У 1941—1943 роках — заступник наркома внутрішніх справ СРСР і начальник Управління Особливих відділів НКВС СРСР. З 1943 року — Начальник Головного управління народного комісаріату оборони «СМЕРШ». У 1946—1951 роках — міністр держбезпеки СРСР.