よれば、大高山神社は敏達天皇元年(572年)に日本武尊を主祭神として創建されたという。(おううかんせきもんろうし)などによれば、日本武尊が蝦夷征伐のための東征の折に仮宮を立てて住んだと伝わり、その仮宮の跡地に「白鳥大明神」と称する社殿を設け、日本武尊を奉斎したという。伝承によれば、崇峻天皇2年(588年)には主祭神として橘豊日尊(用明天皇)が合祀された。よれば、承和9年(842年)には従五位下の神階を授けられ、貞観11年(869年)3月には従五位上に昇叙した。享保20年3月には宗源宣旨により神階最高位である正一位の位階を得た。大高山神社は延喜式神名帳において陸奥国内百座のうちの一座であり、十五座ある名神大社のうちに列する。往古は神社の北東にある金ケ瀬地区新開(旧柴田郡平村)の台ノ山に鎮座していたが、元禄時代初期に起きた火災により社殿が消失したため、金ケ瀬地区の新開126番地に遷座し、大正3年に新開から現在の鎮座地である金ケ瀬地区の神山へと移築・再遷座した。