[[1900年]]當時海關將已毀的職員官舍重建，日本稅關長在此成立「五十會俱樂部」，成為關員休憩、聯誼、打球、進食的場所，讓官邸形成不一樣的生機。二戰時兩官邸作為[[淡江中學]]租給學生的宿舍、變成學生的「行寮」。直至大戰末期不再作為行寮後，官邸逐漸荒廢成淡水人稱的鬼屋。台灣光復後，其中一棟秘書官邸因岌岌可危被拆除，最後只剩下司長官邸，經整修後成為當時總稅務司長官李度的官邸。日漸荒廢的小白宮，於[[1996年]]曾一度被財政部報廢，準備拆除建大樓。經淡水地方人士、團體、學者、專家，與當時的立委'''蘇貞昌'''、'''王拓'''、'''盧修一'''等發起[[小白宮]]搶救行動，終獲內政部回應，後關稅總局計畫在這個地方重建員工宿舍，但在各界關注下，仍希望能保留原貌、列為古蹟，終於在[[1997年]]（民國86年）2月25日，官邸終於被評定為具有歷史意義，在建築上也具有其獨特的價值，公告列為為第三級古蹟，類別為衙署，面積3,345平方公尺，同時管理交由臺北縣政府文化局。
行 89： 行 91：
行 115： 行 120：
行 190： 行 195：