미국이 영국으로부터 독립한 뒤 관현악 연주 단체가 몇 차례 결성되었으나, 대부분 오래 가지 못하고 해체되었다. 1842년 유렐리 코렐리 힐(Ureli Corelli Hill)이라는 바이올리니스트가 주축이 되어 뉴욕 시에 필하모닉 협회를 설립하고 그 해 12월 7일에 아폴로 룸즈라는 소규모 공연장에서 첫 연주회를 가졌다. 힐은 1847년에 오하이오주로 이주할 때까지 상임 지휘자를 맡았으며, 후임으로는 테오도르 아이스펠트와 칼 버그만, 레오폴트 담로슈가 차례로 임명되었다. 그러나 단원들은 적은 임금 등으로 인한 불만 등으로 자주 교체되었으며, 생활고를 타개하기 위한 부업 활동 등으로 인해 연주력이 답보 상태에 있었다.

1877년에 시어도어 토머스가 상임 지휘자로 부임하면서 악단의 분위기와 처우를 쇄신하기 시작했고, 이어 취임한 헝가리 출신의 안톤 자이들도 드보르자크의 교향곡 제9번 '신세계로부터'를 초연하는 등의 활동으로 악단의 연주력 향상과 레퍼토리 확대에 크게 기여했다. 1909년에는 말러가 상임 지휘자로 초빙되었고, 동시에 단원 증원과 운영권 재정비 등의 개혁이 단행되었다.

1921년과 1928년에는 각각 내셔널 교향악단과 뉴욕 교향악 협회의 관현악단을 합병해 뉴욕 시에서 유일한 연주회 전문 관현악단으로 거듭났으며, 빌럼 멩엘베르흐와 아르투로 토스카니니가 차례로 상임 지휘자직을 맡아 악단의 명성을 한층 드높였다. 토스카니니 사임 후에는 빌헬름 푸르트벵글러를 영입하려고 했으나, 나치스의 압력과 푸르트벵글러 자신의 거절 등으로 무산된 뒤 존 바비롤리가 임명되었다. 그러나 바비롤리는 운영진들과 후원자들의 인기를 얻지 못해 1941년에 물러났으며, 약 2년 간의 공백 후 임명된 아르투르 로진스키도 특유의 가혹한 연습 방식 등으로 인해 단원들과 불화를 빚어 1947년 사임했다.

로진스키 사임 후에는 브루노 발터가 음악 고문이라는 직책으로 잠시 준상임 역할을 수행했고, 1949년에는 레오폴드 스토코프스키와 디미트리 미트로풀로스가 공동으로 상임 지휘자 직책을 맡아 활동했다. 1958년에는 시어도어 토머스 이래로 약 60년 만에 최초로 미국인인 레너드 번스타인이 직책을 이어받았으며, 번스타인은 CBS(현 소니 클래시컬)에 방대한 양의 레퍼토리를 녹음하고 '청소년 음악회' 등의 텔레비전 프로그램에 출연해 악단의 명성을 세계적인 수준으로 끌어올렸다. 그리고 번스타인 재임 시기부터 종래의 '뉴욕 필하모닉 오케스트라' 에서 '뉴욕 필하모닉' 이라는 단축형의 공식 명칭으로 바뀌었고, 현재도 지속되고 있다.

번스타인이 1969년에 유럽 활동을 위해 사임한 뒤 조지 셀이 브루노 발터처럼 음악 고문 직책을 잠시 맡았고, 이어 피에르 불레즈가 상임 지휘자로 발탁되었다. 불레즈는 동시대의 현대 음악이나 기존 작품들의 파격적인 해석 등으로 젊은 층이나 진보적인 애호가들의 관심을 끌었으나, 보수적인 운영진과 단원들 사이의 갈등과 청중 동원의 미흡함 등으로 인해 1977년에 사임했다. 불레즈의 후임으로는 주빈 메타가 기용되어 1991년까지 재임했으나, 악단의 연주력이 점차 하락세에 접어들고 있다는 비판이 계속되었다.

메타 이후에는 쿠르트 마주어와 로린 마젤이 차례로 상임 지휘자를 맡았으며, 마젤은 2009년까지 활동했다. 마젤의 후임으로는 앨런 길버트가 현재까지 있으며, 부지휘자로는 중국계 미국인 지휘자 장 시안이 활동하고 있다. 마젤의 전임이었던 마주어는 사임 후 계관 음악 감독 칭호가 주어졌다.
뉴욕 필하모닉 최초의 미국인 상임 지휘자는 누구인가?
시어도어 토머스