Nel 1543, per volontà di Alfonso D'Avalos viene realizzato un terrapieno di difesa esterna che comporta la demolizione di 42 case, soprattutto verso il castello.
Nel 1646, dopo la conquista francese dell'anno prima, la rocca viene presa dagli spagnoli che ne demoliscono le strutture difensive.
Si salva dalla distruzione il palazzo e parte della muratura edificata da Ludovico il Moro sul lato ovest, di tale muratura ne rimane un ampio tratto con l'originale accesso verso la campagna.
Le facciate mostrano paraste e tamponamenti a bugnato liscio al primo piano, mentre i piani superiori restano decorati con le sole paraste; le finestre sono incorniciate con timpano a motivi geometrici e si alternano a balconate in pietra con pilastrini al primo piano e in ferro battuto decorato al secondo piano.