日本大正10年(1921年)，日本殖民政府統合全台試驗機構成立「台灣總督府中央研究所」，此時林業試驗場也因為改隸而稱為「中央研究所林業部」，而原先位於林業試驗場所在地的原「台北苗圃」也於同年1月22日則正式更改名稱為「台北植物園」。除了繼續「台北苗圃」原有的工作之外，台北植物園也派員先後前往歐、美、澳、非洲及東南亞一帶，多方面收集樹種，運回台灣培育。到了1930年左右，台北植物園園內已經栽種1,120種植物，其中泰半為自國外所引進，對於台灣的學術及自然科學的教育貢獻良多。日本昭和8年(1933年)，台灣總督府正式將原先清朝所建的欽差行台（清朝布政使司衙門的其中一部份建築）移至台北植物園內妥善保存。日本昭和14年(1939年)，「台灣總督府中央研究所」再度改組，「中央研究所林業部」獨立為「林業試驗所」，並於日本昭和17年(1942年)另外設置「南方調查室」。 第二次世界大戰後期，日本帝國因為偷襲珍珠港而引起美國後來的宣戰，導致在後續的太平洋戰爭中屢嚐敗績，此時的日本帝國已經無力再建設其原先作為南進基地的台灣，這段期間「台北植物園」園區內的各種建設幾乎完全中輟，樹木也因此枯損殆盡。第二次世界大戰最後在日本昭和天皇宣佈無條件投降下結束，國民政府接收台灣以後，在林業試驗所努力且有計劃的經營下，將「台北植物園」園區重新大力予以整理，同時積極引種栽植。今日的台北植物園園區內的建築與植物種類已經遠超過日治時期「台北植物園」的以往規模，整體所蒐羅的植物品種也多達約2,000多種。