第二次世界大戰日本戰敗，國民政府開始接收在台灣的日產，住在牯嶺街的日本人也開始陸續遭到遣返日本的命運，那些被迫遣返回母國的日本人，為了籌措旅費，於是在名佐久間町的街上擺起了地攤販賣起那些帶不走的書籍、字畫及值錢的古董或是傢俱等物品，這就是今日牯嶺街舊書攤和古董店的前身歷史背景。日後國民政府在國共內戰中倉皇撤退來台灣，隨行的諸多達官貴人也循著日治時期日本人的模式，連同軍隊一起進駐到這一帶的廣袤區域（國民黨高官何應欽將軍的官邸就在牯嶺街上，其地址距離故台大校長錢思亮的宿舍不遠），這些外省族群來得匆忙，多半沒帶什麼銀兩在身上，遂仿效起日本人的前例，在牯嶺街上就地賣書及身上的貴重物品以變現，日子一久，牯嶺舊書街及古董街的名氣也就不逕而走，成為上下好幾代台北人的共同生活記憶。
國民政府撤退來台後日治時期的日本街名陸續遭到改名的命運，佐久間町也因此正式改為牯嶺街，為何改名牯嶺街?主要是因為牯嶺，正是昔日蔣委員長召開廬山會議的地點，被用來替換掉佐久間町，試圖將殖民統治的日本歷史記憶給抹去。而現今的牯嶺街小劇場，日治時期日本人主要是為了在此設置一個憲兵分隊所才決定建造它。憲兵分隊的成立主要是作為日治時期殖民帝國對於殖民地人民的監控之眼，這座建築物的整體外觀迥然不同於鄰近格局方正的日式屋舍，它的大門開向西北，掃視著平原地帶可能出現的任何威脅。這樣的監控感覺，即使到了國民政府接手統治台灣後的年代，依舊絲毫沒有太大的改變。第二次世界大戰後國民政府來台初期，此建築物被改成台北市政府警察局刑事組。1958年改建為日式磚造建築，成為台北市政府警察局中正區第二分局，中正二分局在之後的一段很長的時間裡，繼續擔負起了監控人民的責任，作為警察局矗立在牯嶺街的一角，始終是國家權力在白色恐怖時期的具體象徵。1995年中正二分局遷離，該建築物也正式移交給台北市政府新聞處管理。