寛正の初め(1460)、将軍足利義政の命を奉じた内ヶ島上野介為氏が、信濃国松代から白川郷に入り、当地に城を築き、白川郷はもとより川上郷、小鳥郷、さらには越中国砺波までを領する勢力の拠点となったところである。寛正5年(1464)、内ヶ島氏は、保木脇(現・白川村)に帰雲城を築いて、これに移り、向牧戸城は家臣の川尻備中守氏信が城主となり、郡上及び高山方面からの侵入に対する備えであった。飛騨に入り、最初に攻めたのが向牧戸城で、天正13年(1585)8月10日、落城した。築城以来120数年間にわたり、白川郷の守りの要であった向牧戸城跡である。