Data a súa construcción da segunda metade do século XV. Dícese que este castelo foi cedido xuntamente co señorío por Enrique II, a D. Pedro Ruiz Sarmiento (linaxe noble galego) conde que foi despois de Ribadavia (perdendo a vila a sua condición de realenga, e decir de depender directamente da coroa, pasando a ser señorío do conde).
Aínda conserva unha importante necropolise de pedra do século IX-XII, aparte de enterramentos antropoides escavados en roca viva do século IX, e un sepulcro do século XII. Faltan as almenas, a famosa torre de homenaxe e calquer outro signo de protección.
A porta principal consta dun arco semicircular e porta corredeira na que estan os escudos dos Sarmiento e Fajardo. Foi abandoado no século XVII cando os condes de Ribadavia fixan a sua residencia no pazo que logo levará o seu nome (Pazo dos condes) sito na praza maior, aínda que estaba comunicado co castelo por
medio de unha porta.
Dende a súa zoa maís alta ten unha importante vista, onde se pode contemplar o río Avia e o Miño, agás de unha gran parte da vila ribadaviense. A maioría dos capiteis das columnas que decoraban o interior están destruídos. A muralla conserva 3 das súas 5 portas, a Porta da Cerca (porta de entrada ao castelo) a Porta Nova (camiño ao río),e a Porta Falsa (con camiño ao muíño).
Data aproximadamente según algúns estudos do ano 1202, aínda que outros historiadores comparten a idea do século XII.
Na actualidade debido o seu estado ruinoso estanse acometendo obras de restauración na súa totalidade. No interor construíuse un auditorium, onde se celebra a famosa Mosta Internacional de Teatro, no mes de Xullo.