直至1963年，洪氏後人將此樓轉賣給經營德裕魚丸的洪炳堅、洪許俸夫婦。據洪許俸阿嬤回憶，初接手紅樓時，「雞、鴨都養在房子裡頭，二樓、三樓的隔間用木板」，由於房子長時間沒人住，樹木都往裡頭竄著長，花一番工夫整理後才恢復堪用狀態，當時為補強結構，外牆全噴上黃色沙漿，所以曾有段時間紅樓是黃色的。洪許俸阿嬤的長孫洪良鑑曾表示：「我們那時候住二樓，三樓是空的，會在三樓騎腳踏車，還有玩滑板、丟球」，而一樓在當時還曾分租給從外地到淡水求學的學生。