Il terremoto del Vallo di Diano del 1561 provocò danni cospicui e una trentina di morti in paese.
Nel 1576 prendono possesso della terra di Atena i Caracciolo, marchesi di Brienza, che otterranno nel 1639 il titolo di principe "sobra la tierra de Atina".
I Caracciolo resteranno principi di Àtena fino all'abolizione della feudalità e l'ultima esponente, la principessa Giulia Caracciolo, donerà al nipote Luigi Barraco il palazzo costruito dal suo avo Giambattista nel XVI secolo.
Dal 1741 fu intrapresa una campagna di restauri che portarono la struttura ad essere riedificata "a fundamentis".