1937年日軍發動全面侵華戰爭，『八·一三』淞滬抗戰爆發。至10月26日，上海大部陷落敵手。為掩護大部隊突圍，時任國軍中校團長的謝晉元率一個營的官兵（共411人，為迷惑敵人，謝晉元曾對外宣稱有800人），留守上海閘北狙擊敵人。面對數萬日寇在飛機大炮坦克掩護下的瘋狂進攻，謝晉元帶領的這支孤軍始終鬥志昂揚，奮勇殺敵。他們在四行倉庫與敵激戰4天4夜，擊退敵人數十次進攻，斃敵200餘名，日軍始終不能前進一步。這就是當時那段廣為流傳的『八百壯士』孤軍抗敵的悲壯歷史。
據人民網報導，至10月30日，大部隊突圍成功。掩護任務完成後，謝晉元接到國軍統帥部命令撤退到上海公共租界。沒有想到的是，孤軍一進入租界，日軍就向租界當局施壓。結果這隻孤軍被英軍繳械，被安置在膠州路的一座廢棄軍營（史稱『孤軍營』）內，由白俄雇佣兵看守。名義上雖不是戰俘，實際上和戰俘一樣失去了所有自由。可嘆這樣一支英勇善戰的威武之師，此時就像一隻被拔了牙的老虎困在鐵籠子裡。
被看押期間，謝晉元教育戰士們要不失軍人精神，加緊操練隨時准備重返戰場殺敵。在上海各界力量的幫助下，孤軍建起了宿舍、廚房、禮堂、球場等生活設施，並且還開辦了製皂、織襪、毛巾等小作坊。所得收入除補貼生活外，全部用於支援抗戰。
1938年8月11日晨，為紀念『八·一三』抗戰一周年，『孤軍營』全體將士破例升起了國旗。此舉遭到租界當局和萬國商團外籍軍隊的干涉和圍攻。為保衛國旗，戰士們赤手空拳與敵肉搏，4人犧牲，100餘人受傷。當日下午孤軍被送往外灘中央銀行大樓幽禁。為反抗租界當局的暴行，謝晉元發動絕食鬥爭，最終在上海愛國同胞的積極聲援下，租界當局被迫做出讓步，將他們送回孤軍營，奉還國旗，撫恤死難壯士，並公開道歉。
1940年3月，汪精衛在南京成立偽政權。日偽企圖勸降謝晉元，遂指使汪偽政權的『二號人物』陳公博親赴『孤軍營』勸降，並以偽陸軍總司令這樣的高官要職相誘。結果謝當面將委任狀撕毀，陳公博也被罵得狗血淋頭而逃。後來，陳公博並不死心，又多次『好言相勸』，謝終不為所動。見謝晉元如此『不識時務』，日偽又策劃了對謝晉元的暗殺行動。
1941年12月8日太平洋戰爭爆發。28日，日軍突然攻入『孤軍營』，將手無寸鐵的孤軍340餘人全部俘獲。日軍原打算將其改編為偽軍，遭到毅然拒絕後，又企圖將他們殺害。不過懾於這支軍隊在世界上的影響力，日軍最終未敢動手，後將他們分散押解到浙江諸暨、杭州、南京孝陵衛、南洋的新幾內亞等地做苦工。孤軍的一部分人在日軍非人的苦工奴役中相繼死去，但活下來的人一直沒有停止鬥爭。例如被遣往浙江諸暨的一支孤軍奪取日軍的槍械後，加入了當地抗日游擊隊；1945年日本戰敗，被押到新幾內亞的36名孤軍軍官將負責看押的日軍小隊抓了俘虜。
抗戰勝利後，孤軍倖存者從各地陸續返回上海，總計100餘人。他們請回謝晉元的遺孀凌維誠，沿老團長的陵墓四周搭棚居住，誓為老團長守靈。後來內戰爆發，他們不願捲入內戰，遂解散各謀職業，大部分隱姓埋名生活在社會的最底層，生活十分艱苦。上海解放後，陳毅市長曾親自為這些孤軍壯士安排工作。但他們在後來的『四清運動』和『文革』動蕩中都受到了衝擊，有一些人遭迫害致死。『文革』結束後，餘下的人都在政府的照顧和善待中頤養天年，壽終正寢。
2010年12月17日，孤軍壯士之一的楊養正老人以96歲高齡在重慶辭世。如今，謝晉元的四百壯士中僅有92歲的楊根奎老人一人尚存人世。