Dentro queste fortificazioni si serrarono i martanesi alla notizia dell'assalto turco di Otranto nel 1480.
Dopo la riconquista aragonese, del 1481, il castello venne ricostruito.
Sorse a nord-est, attaccato alle case dell'antico abitato dal lato sud e, protetto da un fossato, si raccordava, con i suoi massicci volumi, alle mura cittadine, difese da cinque torri poste a presidio della "Terra" .
Di questo fortilizio di marca aragonese, rimangono la torre di via Marconi e l'imponente torrione cilindrico del castello che presenta la base scarpata, il toro marcapiano ed, all'interno, tre feritoie ed una cannoniera strombata.