Створений в ході сталінської реорганізації 13 березня 1954 із МДБ СРСР та ряду управлінь, служб і відділів МВС СРСР як Комітет державної безпеки при Раді Міністрів СРСР. В 1978 році в ході реформи керівних партійно-державних органів перейменований в Комітет державної безпеки СРСР' та підпорядкований безпосередньо Політбюро ЦК КПРС.