吉田郡山城
慶長20年（1615年）に江戸幕府が出した一国一城令により吉田郡山城も取り壊され、寛永14年（1637年）に島原の乱が起きると、キリシタンの決起を恐れた幕府によって、石垣や堀なども破却・撤去された[3]。幕末には広島藩の支藩として広島新田藩が成立し、文久3年（1863年）に吉田郡山城の麓部分に陣屋が置かれた（吉田陣屋）[1]。明治2年（1869年）に廃藩となり、陣屋の建物は廃され、もしくは移築された。
永山城
山頂に本丸、中腹に二の丸、麓に三の丸があり、三ノ丸の南中央に大手虎口が開かれていた。南を表、北を背面としていた。建物があったかなどは不明で、本丸の表門と考えられている虎口脇にある石垣は天守台ともいわれ、本丸奥にある高台も天守台ではないかという説がある。山頂本丸表虎口付近の川石（丸石）を使用した野面積みの石垣が現存する。2009年に日田市が行った公園整備計画にともなう試掘調査によると、本丸表門石垣は1680年代に築かれたものであると推定され、城跡の北西麓からは細川綱利時代のものと推定されている川石の石垣と土塁が出土し、北西斜面中腹からは虎口石垣が出土している。