1842년 4월에 U. C. 힐이 뉴욕에 설립한 필하모니아 소사이어티를 모체로 하며 1921년 내셔널 오케스트라, 1923년 시티 심포니, 1928년에는 뉴욕 심포니 소사이어티를 통합하면서 오늘날과 같은 위용을 갖추게 되었다.

창립 이후 이 악단을 거쳐간 대표적인 지휘자로는 레오폴도 담로슈와 안톤 자이들이 있으며 특히 자이들은 드보르자크의 〈신세계 교향곡 From the New World〉을 초연했다.

20세기 이후로도 말러(1909~11), 멩겔베르크(1922~23), 토스카니니(1926~27, 1935~36), 바비롤리(1936~43), 로진스키(1943~47), 미트로폴로스(1947~57) 등의 거장들이 지휘봉을 잡으면서 세계 굴지의 오케스트라로 성장시켰다.

이 악단의 전성기는 미국에서 성장한 세계적인 지휘자인 레너드 번스타인을 맞으면서 시작되어 1969년 그가 사임할 때까지 카라얀의 베를린 필하모닉과 함께 양대 산맥을 이루었으며, '뉴욕 필하모닉 오케스트라'에서 지금과 같은 '뉴욕 필하모닉'으로 명칭을 바꾼 것도 당시의 일이었다. 그후 피에르 불레즈와 주빈 메타 등이 지휘봉을 이어받았으나 그때만큼의 전성기를 구가하지는 못하고 있다.

이 악단이 남긴 명반으로는 토스카니니 지휘의 베토벤 교향곡 시리즈와 번스타인 지휘의 〈랩소디 인 블루 Rhapsody in blue〉(거슈윈)·〈애팔래치아 산맥의 봄 Appalachian Spring〉(코플런드)·〈엘 살론 멕시코 El Salón México〉(코플런드), 불레즈 지휘의 스트라빈스키 발레곡들, 메타 지휘의 말러 교향곡 등을 꼽을 수 있다.