中世にこの地に居住した武将、小長谷(小長井)氏の居城と伝えられています。元和5年に現在の小長谷城址に遷座した。「小長井城」または「徳谷城」とも呼ばれ、中世にこの地に居住した武将小長谷(井)氏の居城と伝えられています。築城年代その他の史実は明確ではありませんが、現在残されている遺構は室町時代中期(15世紀ごろ)以降のものであろうと推定されます。小長谷(井)氏は、今川氏が駿河守護大名として一帯を支配していた頃今川家に属していました。その後永禄11(1568)年武田信玄の駿河侵攻により、武田方に降り武田氏の指揮下のもとに城の大改造が行われ、天正10(1582)年武田氏滅亡の頃と前後して、当寺の城主長門守政房によって廃城になったものと推測されております。小長谷城は城郭の種類としては規模はそれほど大きくはないが、山地を利用した三段の曲輪配置は、中世城郭の平山城に属し、大井川上流地域における歴史を物語る城郭の遺構として高く評価されております。現在の遺構は徳谷神社境内地(約14,000m2)である。B&G本川根海洋センター敷地も、その城域であったが、敷地内の堀は埋められた。一号堀から五号堀まで残っており、とくに三号堀と四号堀は武田氏による改築が行われ、これが甲州流築城術の証である。神社の鳥居から社殿にかけて三段の曲輪があり、一番奥が本丸、次が二の丸、三の丸と呼ぶべきであろう。丸・三の丸・付属曲輪を仕切る土塁を設け、さらにこれらを囲む土塁があり見事な遺構をとどめている。直径1.3m、深さは埋没してよく判らない。江戸末期に著された「波摩都豆羅」と「駿河志料」に、この「古井戸」が記録されている。