吉田郡山城
慶長20年（1615年）に江戸幕府が出した一国一城令により吉田郡山城も取り壊され、寛永14年（1637年）に島原の乱が起きると、キリシタンの決起を恐れた幕府によって、石垣や堀なども破却・撤去された[3]。幕末には広島藩の支藩として広島新田藩が成立し、文久3年（1863年）に吉田郡山城の麓部分に陣屋が置かれた（吉田陣屋）[1]。明治2年（1869年）に廃藩となり、陣屋の建物は廃され、もしくは移築された。
陶山氏
鎌倉末期の陶山義高は、竜王山（175m）に笠岡山城を築くと、それまでの陶山城から居を移し本城としている。竜王山の東麓の威徳寺辺りに居館があったとされる。元弘元年（1331年）、義高は遍照寺を吉田から現在の笠岡の地に移したと言われ、これは後に吉祥院、観照院、南昌院、西明院など多くの塔中、末寺を擁する門前町笠岡の要になっている。なお山陽道からさほど遠くない吉田地区には、関戸廃寺跡（飛鳥時代後期から平安時代末期まで栄えた寺の跡）などの史跡も散在しており、。