最上川右岸の比高30mほどの独立丘陵上に築かれた梯郭式の平山城。主郭を中心に、南側に二の郭を配し、主郭は東西60m、南北80mほどで、東側に八乙女八幡神社がある。主郭の北、西、南側には幅5~10mの帯郭が配されている。南側には二の郭が配されており、城の北麓には空堀が、南側には水濠があったというが、現在は空堀跡だけが残っている。寛治元年(1087)、源義家がこの地に石清水八幡宮を勧請し、その後、石灘監物が八乙女八幡神社を建立し、永長年間(1096~97)に、藤原清衝の臣の荒川次郎清泰が城を築いたと伝えられる。その後平泉滅亡後は大江氏がこの地を支配したが、元中年間(1384~92)、長井の大江氏を滅ぼし置賜郡を制圧した伊達宗遠は、家臣馬場将監に荒砥を給し、将監が堀を廻らして荒砥城を改修したとされる。天正19年(1591)、伊達政宗が岩出山に移封になると、蒲生氏郷の家臣水野三左衛門が入り、慶長3年(1598)、上杉景勝が会津に入封すると、米沢城の直江兼続は、この地は最上義光の領土との国境地のため、信頼する泉沢久秀を配し、近くの鮎貝城には中条三盛を配し国境の守りを固めた。その後、志田修理進が城代となったとされるが、江戸初期に荒砥城は廃され、御役屋が二の郭に置かれた。