江文也本名文彬，1910年6月11日出生於日治台灣台北州淡水郡三芝庄（今中華民國臺灣省台北縣三芝鄉），祖籍是福建永定客家人，父親江溫均、母親鄭氏。1914年舉家遷居廈門。1918年江文也進入廈門旭瀛書院求學，1922年母親病故，遂轉往日本長野縣上田市，進入上田中學就讀。1929年中學畢業後，遵照父親遺囑進入武藏野高等工業學校（今東京都市大學）電機科就讀，由於喜愛音樂，課餘時間前往東京音樂學校進修，選修聲樂與音樂基礎理論等課程，作曲老師是橋本國彥。1932年工業學校畢業後，隨即到一家印刷工廠當排版學徒，工作之餘拜日本名音樂家山田耕筰學習聲樂及作曲。同年秋天，參加日本第一屆音樂比賽，獲得聲樂獎入選；1933年再度獲獎，並獲藤原義江歌劇團團長賞識，聘為該團藝員，擔任男中音。
1930年代，江文也在日本樂壇逐漸展露過人的才華，在各項音樂比賽中屢獲大獎。1934年3月管絃樂《白鷺的幻想》獲得日本全國第三屆音樂比賽作曲祖第二名，1934年6月7日至8日，參加藤原義江歌劇團第一次公演，演出普契尼的《波希米亞人》。由於江文也在音樂方面的出色表現，獲得當時上田市長千金龍澤信子的芳心，而結為連理。1934年8月11日至19日，江文也參加留學日本的台灣習樂學生組成的「鄉土訪問音樂團」赴台公演，並特別為闊別已久的故鄉創作《台灣舞曲》，同時在巡迴公演之餘蒐集各地原住民歌謠。1935年管絃樂《盆頌主題交響曲》獲日本全國第三屆音樂比賽作曲祖第三名；1936年管絃樂曲《台灣舞曲》在德國柏林舉辦的地11屆奧林匹克運動會的文藝競賽中獲得二等獎，並榮獲大指揮家溫格納爾銀牌獎，這是江文也在世界的成名作品。
1937年管絃樂曲《賦格序曲》日本全國第六屆音樂比賽作曲祖第二名；1938年《鋼琴斷章小品集》在威尼斯舉行的第四屆國際音樂節，榮獲作曲獎。
1939年初江文也在認識一位北平第二女師音樂系學生吳蕊真，兩人極為投緣，江文也甚至為其改名為「吳韻真」，之後，兩人不顧家人反對而結為連理。
1938年至1945年是江文也創作產量最多的時期，他先後創作了許多富有民族風格、旋律優美的作品，如《春曉》、《靜夜思》、《春夜洛城聞笛》、《漁翁樂》…等。1940年，舞劇《香妃傳》在東京高田舞蹈團演出；而管絃樂曲《孔廟大成樂章》，由江文也親自指揮日本新交響樂團，分別在3月及8月在東京放送局向中國、南洋、美國等地廣播。