本系為本校各系所中歷史最悠久之三個學系之一，日治時代昭和六年 (1931)台灣總督府創設台南高等工業學校於台灣當時的第二大都市-台南市，本系之前身即為該校之機械工學科。機械工學科是台南高等工業學校創校之時成立的，曾於昭和十九年(1944) 改稱為台南工業專門學校機械科的一年多的時期在內，本系的前身-台南高等工業學校機械工學科在台灣光復以前曾推出十三屆畢業生共498名。
台灣光復以後，本校經中華民國政府接收，改稱台灣省立台南工業專科學校，而機械工學科亦改稱機械工程科。民國三十五年本校奉令升格為台灣省立工學院，機械工程科改設為四年制的機械工程學系。民國三十六年 (1947)六月有一班機械專修科學生十二人畢業，此等學生為昭和十九年（1944）考進台南工業專門學校機械科而光復前已在校就讀一年的台籍學生（以及昭和十九年在日本本土考進工業專門學校讀一年，而光復後回台灣經本校之轉學考試錄取者）裏面，在本校升格工學院以後，選擇不繼續就讀四年制機械工程學系而逕行以專科資格畢業者。
民國三十八年六月機械工程學系（俗稱大學部）第一屆畢業生二十人畢業。民國四十二年學年度機械工程學系所招收之新生由單班改為甲、乙二班。民國四十五年八月一日，本校奉令改制為台灣省立成功大學，本系成為省立成功大學工學院裏面的機械工程學系。民國四十六年學年度本校創設機械工程研究所（碩士班）。民國四十九年六月第一批機械工程研究所碩士班畢業生四人畢業。民國四十九學年度增設(五年制)夜間部機械工程學系，並招收新生一班，民國五十學年度亦招生一班，旋於民國五十一年停止招收新生，至於已入學之五年制夜間部機械工程學系之學生，則使其續就讀至畢業為止。此等學生於五十四年六月畢業者有二十一人，於五十五年六月畢業者有三十八人，於五十六年六月畢業者有六人。民國六十年八月一日本校奉令改制為國立成功大學，本系乃成為國立成功大學工學院裏面的機械工程學系，機械工程研究所增設博士班。民國六十一學年度，本系亦增設航空工程組，所以本系所招收的新生除了甲、乙二班之外，尚招航空工程組新生一班。六十四學年度本校夜間部增設機械工程學系。六十五學年度原有之機械工程學系航空工程組獨立成為航空工程學系，從這一年度開始本系（大學部）所招收之新生恢復為甲、乙二班，但是前此六十二、六十三、六十四等三個學年度所招收之航空組新生，均維持機械工程學系航空工程組學生之學籍至畢業為止。六十八學年度本系（日間部）所招收的新生由原來的兩班改甲、乙、丙三班。民國六十九年六月夜間部機械工程學系第一屆畢業生三十六人畢業。民國七十一年六月，機械工程研究所博士班之第一批畢業生二人獲得機械工程博士學位。
民國八十五年八月，奉令本系所之博士班、碩士班以及大學部分別改稱為機械工程學系博士班、碩士班以及學士班，原來的機械工程研究所所長兼機械工程學系主任亦改稱為機械工程學系主任。
民國八十六年本校夜間部奉部令改制為進修推廣部，夜間部機械工程學系乃改稱為進修推廣部機械工程學系，仍舊招收學士班新生。民國八十八年，進修推廣部停止招收機械工程學系之學士班新生，至於已入學之進修推廣部學士班之學生則使其繼續就讀至畢業為止，民國八十九年本校進修推廣部首次招收機械工程學系碩士班新生。
台南高等工業學校時代，機械工學科所使用之校舍位於該校校園（即現今之國立成功大學成功校區）之東南角，為一棟昭和七年（1932）竣工的樸實的磚造平房建築，對於當時的三年制，每學年學生人數25名左右的機械工學科而言，是足足有餘的，而內部的實驗室的設備，如果與日本本土的高等工業學校機械工學科相比也是有過之而無不及。昭和十六年（1941）在原有的機械工學科磚造平房校舍之北側建造一棟木造二層樓房，作為機械工學科之教室、製圖室、實習工廠等。台灣光復以後上述之磚造平房以及北側之木造樓房乃成為台灣省立工學院機械工程學系所使用之校舍，而原有之磚造平房之門口懸掛「機械工程館」之門牌。民國四十二年本系開始改為雙班，民國四十六年成立研究所（碩士班），民國六十年研究所增設博士班，教師陣容不斷擴大，民國六十八年本系大學部又由雙班改成甲、乙、丙三班，當然機械系之原有老系館不敷使用，而屬於機械系的教室、實驗室、教授室分散於老系館、綜合大樓及機電化大樓（此樓為機械、電機、化工等三系共同使用），甚至機械系一年級學生必須在光復校區的唯農大樓的教室上課等不方便。學校當局於是在自強校區（成功校區之東側）興建一座使用空間面積 11,668平方公尺，為地上十二層，地下二層之美侖美奐的新的「機械工程館」。成大機械系，已於民國八十六年六月遷入新的「機械工程館」，現在本系學生、教職員工在這系館非常舒適寬敞的環境裡學習、教學、研究、工作了。
本系之教師陣容隨著班級之增多，增設碩士班、博士班，年年有增加，而且年高的教授們逐漸退休，新聘之師資均屬高學位者，時至今日，本系之師資大部分是國內外大學獲得博士學位的博學學者。在四十年度本系僅有教授七人（包括系主任），副教授二人，講師一人，九十四學年度本系已擁有教授三十二人，副教授十人，助理教授五人。
台南高等工業學校機械工程學系時代的科長依序是藤田保太郎、末光俊介。光復至今歷任系主任為葉東滋、朱良璽、莊君地、朱越生、張象賢、李克讓、王廷山、翁政義、顏鴻森、邱澄彬、陳朝光、陳聯文、朱銘祥、李森墉、李偉賢、張錦裕、林大惠、李永春、以及現任羅裕龍。
結束本文之前，有一事值得介紹的是:台灣光復至今之十一任成功大學的校長裏面，有兩任是本系的系友，他們是第七任校長夏漢民博士（51級碩士班）以及第十任校長翁政義博士（55級學士班）。