1916年秋，葉劍英在廣東東山中學畢業前夕，廣東省教育局通知梅縣各個中學舉辦學生成績展覽，參展的學校有公立學校、私立學校、教會學校，校長怕展覽搞得太大會得罪其他參展學校，就主張展覽的規模要盡量縮小，葉劍英卻不同意校長的意見，他召集不少學生，提出要把展覽規模搞大，校長見狀便以扣發文憑威脅，要葉劍英承認錯誤，葉劍英一氣之下回了家。此事在師生中議論紛紛，不久，校長也自知理虧就寫信給葉劍英，讓他回校領畢業証書，信中希望葉劍英承認“錯誤”，葉劍英拒絕返校，在復信中葉劍英寫道:“自古英雄多出自草莽，大丈夫何患乎文憑！”就這樣葉劍英成了東山中學的肄業生。
18歲的葉劍英離開東山中學不久，到家鄉附近的新群小學教書，並很快成為學校最受學生歡迎的教師之一，1916年冬，為了謀生葉劍英去了馬來西亞投奔他的三位伯父，為了求職葉劍英在馬來西亞遭受到了資本家的白眼，受到了莫大的侮辱，正當葉劍英就業無門苦悶彷徨的時候，傳來了雲南都督唐繼堯派人到南洋招收華僑子弟入雲南講武堂就學的消息，就這樣，1917年葉劍英在馬來西亞考入雲南陸軍講武學堂。
1917年夏天，葉劍英從馬來西亞先坐船回到香港，后經越南海防、河內，取道滇越鐵路前往雲南，雲南講武堂坐落在昆明翠湖西岸的承華圃，學校創辦於清朝末，1912年，雲南軍政府都督蔡鍔擴大學校規模，將講武堂改為講武學校，蔡鍔患病去日本后，講武學校被校長唐繼堯一手把持，變成了他擴充軍事實力、實現個人野心的工具。唐繼堯畢業於日本士官學校。他完全按照日本士官學校的那一套來辦學，對學生進行“武士道”式的嚴格管教，學校設步、騎、炮、工四個兵科，學制一般為三年。
葉劍英來到學校，十分興奮，他還特意把自己的名字由原來的“葉宜偉”改為“葉劍英”，葉劍英是講武學校第12期學生，經過半年的嚴格訓練，葉劍英轉為學校的正式學生，第一學期學習普通學科，第二學期他被分配到炮科。
當時學校裡有不少日本教官，其中一個日本教官，20多歲，個子不高，身強力壯，有一手高超的劈刀術，在校就喜歡同別人比試，他接連打敗了好幾個教官后，就自以為全校無敵，同學們見這個日本教官趾高氣揚、不可一世的樣子，個個都很生氣，但他們也無可奈何，葉劍英卻暗暗憋了一口氣。葉劍英出生於武術世家，父親葉鑽祥，考中過武秀才，從小葉劍英就與父親練習武術，在雲南講武學堂他又與騎兵科科長林振雄學習日本的劈刀術，而且得到林的私下輔導，所以葉劍英的劈刀術在學生中名列前茅。葉劍英就下決心教訓教訓這個蠻橫的日本人，他先把自己的想法告訴同寢室一個名叫金至順的朝鮮族同學，並得到對方的支持。此后，一連幾個月，二人每天都早早起床，到學校操場上練習對刺，經過苦練后，葉劍英的劈刀技術有了很大的提高。
葉劍英找到那位日本教官，提出比武的要求后，日本教官上下打量葉劍英好久，然后輕蔑地說:你行嗎？最后還是滿口答應了葉劍英。到了比武這天，許多教官和學生聞訊后都來觀看，在場的人都希望葉劍英能夠取勝對方。比武開始后，日本教官就氣勢洶洶地向葉劍英猛刺過來，企圖以快取勝，葉劍英不慌不忙，左閃右擋，採取守勢避開他的刀鋒。雙方經過幾十個回合后，依然不分勝負。待日本教官的氣力用得差不多時，葉劍英突然轉守為攻，用熟練的刀法，對准日本教官的要害部位猛劈，日本教官一下子就亂了陣腳，隻見他隻有招架之功而無還手之力。這時，日本教官試圖擺脫困境，就使出絕招，再次揮刀劈來，葉劍英見狀就以攻對攻，一個箭步沖了上去，大喝一聲，舉刀凌空而下，向對方劈去，對方揮刀上擋，葉劍英順勢將對方的刀按在下面，並加勁下壓，隻聽那位驕橫的“武士”上氣不接下氣地說:“不要太重！不要太重！”並承認自己輸給了葉劍英。賽后，這位日本教官將自己隨身佩帶的戰刀送給葉劍英，以表示欽佩。這把戰刀，葉劍英一直保存在身邊很長時間。
葉劍英在雲南講武學堂讀書的第二年，袁世凱病死，孫中山在南方進行了護法戰爭，而盤踞在西南的軍閥唐繼堯表面上也宣布響應孫中山的“護法”運動，但骨子裡卻反對孫中山，唐繼堯把講武學校作為自己擴充實力的一個重要基地，竭力培植親信。唐繼堯還親自訂立一個“章程”，章程規定，禁止學生“干預外事”，不許學生閱讀課外書籍和報刊，絕對禁止閱讀政治書籍、談論政治問題。唐繼堯讓學生閱讀明代王陽明的著作，他還常常到校進行“講話”，宣揚王陽明。其實，唐繼堯對王陽明的學說並不很懂，他是想讓師生不問世事，以便為他賣命效勞。
一天，唐繼堯又到校召集師生訓話，他按照事先寫好的講稿念道:“未有知而不行者，知而不行，隻是未知。”“行之明覺精察處便是知，知之真切篤實處便是行……”他讀一段，講一段。最后，他忽然發問:陽明先生的學問深如瀚海，敝人略說一二，不知諸君領會沒有？如有不明者，可以發問！
唐繼堯的話音剛落，葉劍英就從座位上站了起來，問道:“請問王陽明先生的‘知行合一’與孫中山先生的‘知難行易’是否一致，有何異同之點？”葉劍英對唐繼堯多次“訓話”隻字不提孫中山，早就不滿了，所以就事先琢磨好這個問題，趁機向唐繼堯校長發問。唐繼堯當時最怕的就是學生追隨孫中山，所以每次講話都極力回避孫中山，但聽到葉劍英的提問時，唐繼堯顯得十分尷尬，敷衍了幾句后，匆匆忙忙離開了學校。
唐繼堯掌控的雲南講武學校的空氣十分沉悶，葉劍英就和一些來自海外的華僑學生沖破學校的種種陳規羈絆，利用星期天和節假日，自行組織各種文體活動，他們最常去的地方是位於昆明城南的馬街上有名的“兩廣會館”，葉劍英和南洋回來的同學，以及后來考入學校的許多同鄉同學，視這裡是“客家人”的第二故鄉，他們聚在一起談論最多的是畢業后的前途及去向問題，有的同學准備畢業后解甲歸田﹔有的同學表示聽從學校分配，在滇軍中服役﹔有的同學准備留校當教官，而葉劍英始終堅持自己畢業后返粵追隨孫中山的想法，並寫了一首七律《夜宴》，來記述當年同學聚會的情景。
月滿危樓花滿園，花前月下宴王孫。頻移杯影渾忘醉，幾次瓊香對笑論。
興爽春衣沾露濕，情高秋思落詩魂。更憐良夜嫌更促，把劍長歌氣壓軒。
1919年12月22日，葉劍英經過兩年半的學習，以最優秀的成績從雲南講武學校畢業。學校鑒於他學業優秀，又來自南洋，曾准備派他返回南洋去做宣撫特使，招收新的學員，葉劍英不願從命，踏上了回廣東故鄉的歸途。