Після викриття шпигунської діяльності полковника ГРУ Пеньковського О. В., його колишній безпосередній начальник генерал армії Сєров був звинувачений у «втраті пильності» у ввіреному йому Управлінні та Указом Президії Верховної Ради СРСР від 12 березня 1963 позбавлений звання Героя Радянського Союзу і ордена Леніна. Знижений у військовому званні до генерал-майора. Раніше, у зв'язку з рішенням президії ЦК КПРС від 29 березня 1962 року, було скасовано Указ Президії Верховної Ради СРСР від 8 березня 1944 року, яким І. А. Сєров удостоєний ордена Суворова 1-го ступеня за активну участь і організацію депортації народів Північного Кавказу.