경북 선산에서 태어나 경성부의 중앙고등보통학교를 졸업했다. 화가 이종우에게 수학한 뒤 1924년 조선미술전람회에서 〈건설이냐? 파괴냐?〉로 입선하면서 화단에 데뷔했다. 1926년 일본에 유학하여 도쿄 미술학교에 입학해 서양화를 공부했다. 이때 같은 도쿄 유학생이던 동갑의 이태준을 만나 평생 동안 교유했다.

1928년 귀국한 후로는 서울에서 미술 교사로 재직하면서 길진섭과 함께 목일회를 창립하는 등 활발히 활동했다. 그는 작품 활동 뿐 아니라 미술사 연구와 미술 평론계에서도 선구자 격의 위치를 차지한 인물이다. 본래는 서양화가로 출발하였으나 목일회가 일제의 탄압으로 해체된 1930년대 후반부터 조선화의 기법들을 연구하기 시작했다. 북한에서 그린 말년의 작품들은 조선화가 대다수이다.

광복 후 서울대학교와 동국대학교에서 교수로 재직하였으며 1948년 그의 호를 딴 수필집인 《근원수필》을 출간하기도 했다. 1950년 한국 전쟁이 일어나 조선인민군이 서울을 점령했을 때 서울대학교 예술대학의 임시 학장을 맡았고, 그 해 가을 후퇴하는 조선인민군을 따라 월북했다. 

월북한 후에는 조선미술가동맹과 조선건축가동맹에 참가했으며 평양미술대학의 강좌장이 되었다. 정확한 연도가 파악되지 않으나 김용준은 월북 직후부터 조선미술가동맹의 위원을 역임했으며, 조선미술가동맹 조선화분과가 신설된 이후 1959년까지 위원장을 역임했다. 그는 1955년 《단원 김홍도》를 집필했으며, 1958년 《고구려 고분벽화 연구》 등을 집필하는가 하면, 1958년 중국을 방문한 이후 평양 국립중앙미술박물관에서 개인전인 《중국 방문 귀환전》을 개최했다. 1960년 이후부터는 북한 내부에서 조선화의 방향을 '채색화'로 집약되자, 그는 위상을 잃어갔고, 《조선미술》에 <채색화 기법>을 연재했다. 

전통적인 모더니즘 계열에서 정지용, 이태준과 궤를 같이 하면서 광복 전·후로 좌익 예술계와는 일정한 거리를 유지했던 김용준의 월북 동기는 잘 알려져 있지 않다. 서울대학교 미술대학 학생으로 국대안 파동 때 미 군정과 충돌해 수감되었다가 풀려난 김진항의 추대로 한국 전쟁 중 얼떨결에 학장이 되었다가 월북하지 않을 수 없게 되었다는 설과, 공산주의자였던 부인의 권유로 함께 북으로 갔다는 설이 있다.

그의 죽음에 대해서는 성혜랑이 2000년에 출간한 《등나무집》에서 자살이라고 기록하고 있다. 성혜랑과 김용준은 이웃에 살고 있었는데, 1967년 김용준이 김일성의 사진이 들어 있는 신문을 그대로 밖에 버린 사실이 드러나 큰 처벌을 받을 위기에 놓이자 자결했다는 것이다. 성혜랑의 증언 외에 이 사실을 증명할 수 있는 다른 근거는 아직 발견되지 않았다.
김용준이 도쿄 미술학교 재학 당시 만난 전통적 모더니즘 계열 화가는 누구인가?
이태준