Come devoto stalinista, Ežov fu proprio l'uomo che serviva a Stalin per intensificare il terrore e rimuovere dal governo ogni potenziale oppositore.
Il primo ordine dato ad Ežov da Stalin fu quello di investigare personalmente su Jagoda, cosa che egli fece con grande zelo.
Su ordine di Stalin, egli creò un impianto accusatorio che marchiò Jagoda come spia dei tedeschi e di voler assassinare Stalin per restaurare il capitalismo in Russia.
Alcune fonti indicano che Ežov arrivò a torturare personalmente Jagoda e il maresciallo Tuchačevskij per estorcerne le confessioni.