約於1865年由水上居民所建，十年後遷建現址，至1928年由華人廟宇委員會將油麻地天后廟及嘗產正式移交廣華醫院。1931年，東華醫院、廣華醫院及東華東院正式統一為東華三院，油麻地福德祠亦由東華三院接管。1972年重修完工後，加設油麻地城隍廟併入廟群連同油麻地社壇、油麻地天后廟及油麻地書院，即同地段共內有五廟運作。每年度之「觀音開庫」寶誕，吸引大批善信前往參拜。
而這間廟的神籤有六十四籤，是依據易經六十四卦爻辭而成。