Em 1958 Nelson Carneiro transferiu-se para o Rio de Janeiro com o fito de concorrer às eleições pelo então Distrito Federal, apostando que um eleitorado de perfil menos conservador assimilaria suas propostas.
Foi eleito deputado federal pelo Partido Social Democrático (PSD) em 1958 e a partir de 21/04/1960 passou a representar a Guanabara sendo reeleito em 1962.
Em meio à crise desencadeada pela renúncia do presidente Jânio Quadros em 25/08/1961, foi o autor da emenda que instituiu o parlamentarismo no Brasil de modo a assegurar a posse do vice-presidente João Goulart na presidência desde que o governo estivesse nas mãos de um primeiro-ministro, neste caso o mineiro Tancredo Neves. Com a deposição do presidente João Goulart por um golpe militar em 31/03/1964 e a subsequente adoção do bipartidarismo, Nelson Carneiro ingressou Movimento Democrático Brasileiro (MDB) sendo reeleito deputado federal em 1966.
Eleito senador pela Guanabara em 1970, passou a representar o Rio de Janeiro após a fusão entre essas unidades federativas em 15/03/1975 em face de lei sancionada pelo presidente Ernesto Geisel.