Il maniero era completato agli spigoli da quattro massicci torrioni a mandorla sporgenti; uno dei quali fu poi fatto ricostruire dal Guercio di Puglia dopo la rivoluzione neretina del 1647 scoppiata in concomitanza con la rivolta popolare di Napoli guidata da Masaniello; sicuramente tutto l'edificio si sviluppava su quattro livelli in cui erano distribuite circa 49 stanze.
Il Castello perse parte della sua consistenza quando fu oggetto di un decisivo rimaneggiamento che lo portò alla trasformazione in residenza civile della famiglia "Personè" tra la fine del XIX secolo e gli inizi del XX secolo, su progetto dell'ingegnere Generoso De Maglie di Carpignano Salentino.
Di mirabile fattura rimangono i cornicioni della parte più alta delle torri, lievemente aggettanti, che poggiano su piccoli beccatelli a mensola.
La Fontana Del Toro, raffigurante un giovane e possente toro che scava con la zampa il terreno, venne realizzata nel 1930 dal maestro neretino Michele Gaballo e fu consegnata alla Città l'otto dicembre 1930 per l'inaugurazione della conduttura dell'Acquedotto Pugliese.