Filho de pai trombonista e mãe pianista, foi natural que ele seguisse o caminho da carreira musical. Conforme Ray contava em suas entrevistas, fez um curso por correspondência, com um único dólar, que o introduziu na arte da teoria musical. Formou o seu primeiro grupo artístico ainda adolescente. Anos mais tarde, aperfeiçoou-se de forma profunda na carreira, ao se tornar discípulo da Juilliard School. Depois de atuar e formar uma sólida base musical como trombonista e arranjador nas Big Bands, como as de Artie Shaw, Harry James e outros, Ray passou a escrever arranjos para Johnny Mathis, Guy Mitchell, Johnnie Ray, mas devido a seu talento, teve a oportunidade de formar sua própria orquestra em 1955, a convite de Mitch Miller, da CBS.
Naquela mesma época, fez sua primeira visita ao Brasil, como convidado, ao lado de Henry Mancini, para o Festival Internacional da Canção, onde então teve oportunidade de imprimir seu estilo a uma orquestra constituída de músicos e coral inteiramente brasileiros. Seu som, sempre fidelíssimo a seu estilo, levou a platéia do Maracanãzinho ao delírio, interpretando Aquarela do Brasil, Tico-Tico e Somewhere My Love. Foi o início de uma série de vindas ao Brasil e de shows pelo mundo afora (América Latina, Inglaterra, Alemanha, Japão, Rússia, etc). Em todos esses lugares era recebido com enorme entusiasmo pelas platéias.
A partir de meados da década de 1970, reduziu seus cantores de 24 para 8 vozes, sem que perdesse em qualidade sonora ou comprometesse seu estilo. Na década de 1980/1990, voltou-se de vez para o mercado latino, tendo gravado centenas de canções, incluindo algumas brasileiras, concentrando-se basicamente no repertório musical de Roberto Carlos e de Julio Iglesias. Ainda assim, lançou álbum de trilhas sonoras de filmes americanos e que incluíam sucessos como Titanic, Superman, A Bela e a Fera, etc e outro com cantores do estilo country americano.
Ray Conniff permanecia vindo ao Brasil quase que anualmente, tal era o seu sucesso até sua última tour por essas terras, no ano 2001, na qual ainda revelava muita alegria e disposição e era ovacionado por enorme platéia onde quer que fosse.
Durante vários anos, quando se apresentava em São Paulo, ficava sempre hospedado no Hotel Eldorado Higienópolis, e alí, durante toda temporada, convivia diariamente com os moradores da região, pois frequentava a lanchonete sorriso que há em frente ao hotel até hoje; conversava com todos os frequentadores do local e ainda atendia aos fãns.
Para tristeza de todos os amantes da boa música, Ray sofreu um derrame cerebral em abril de 2002, tendo se recuperado do mesmo, chegando a fazer planos de voltar ao Brasil, quando foi surpreendido por outro derrame, na saída de um restaurante, no qual almoçara com a família, e que naquele dia 12 de outubro de 2002 lhe roubaria a vida.