淡江關署早期因為人數只有數人，祇能租屋居住，但終非長之計，一方面他們不願與華人混居，另一方面華人民宅不適合時洋人起居習慣，遂有興建官邸宿舍之舉，這就是淡水海關稅務司官邸的由來。1866年稅務司購買到現在官邸和附近土地，於1869年由副稅務司長郝伯遜著手進行規畫和興建官邸，陸續完成三座洋樓，提供司長、秘書和部屬居住，時淡水人稱之為「埔頂三塊厝」。
「埔頂三塊厝」在1884年清法戰爭淡水之役，淡水沿岸遭法軍砲擊，炸毀部屬所居住的房舍，只剩下兩棟；到光緒二十一1895年中、日甲午戰爭所簽訂的馬關條約，將臺灣割讓給日本，清廷派李經方到基隆外海與日本海軍做形式上的交接。同年6月5日，日本稅關鑑定官野村材二在基隆登陸，基隆海關人員都已撤離， 6月9日抵達淡水，淡水海關稅務司馬士（H.B.Morse）向日方表示：「大清帝國海關屬於赫德管轄，清廷僅支付海關人員薪俸、房租及其他雜費，每月三千兩而已，海關業務形同包稅制度，所有房屋、地產等均屬於赫德的私產。」日本查證結果，淡水海關官舍土地一區確有登記在赫德名下，經雙方不斷的交涉後，日本方面以銀幣五萬兩購回淡水和基隆海關，終在8月5日，馬士結束淡水關的關務，將淡水、基隆兩海關正式移交給日本。