保元の乱(1156年)の敗北により崇徳上皇は讃岐国へ配流され、同年旧暦8月10日に讃岐に上陸し最初の約3年間を林田の雲井御所で過ごした後、長寛2年(1164年)旧暦8月26日に崩御するまでの約6年間を鼓岳の御堂に幽閉されていたと云われ、その鼓岳は当地であるとの説がある。当地ではなく府中鼓ヶ丘木ノ丸御殿(現在の鼓岡神社の場所)で過ごしたとも云われている。清水に浸しておいたところ毎夜、上皇の御所があったとされる所から神光が輝いた[1]といわれる。二条天皇の宣旨を受け、崩御したその年のうちに御所の跡に上皇の鎮魂のため崇徳天皇社が造営された。