Dopo la distruzione del 1370 che comportò l'abbattimento del mastio, i lucchesi iniziarono a ricostruirlo e a rafforzarne le difese; infatti nella Bolla d'Oro di Carlo V  troviamo citato il “Castrum Gallicani”.
Il castello sorgeva intorno alla chiesa, e a questa rapida ricostruzione seguì un ulteriore intervento ai primi del Quattrocento durante la Signoria di Paolo Guinigi.
Non si conosce con certezza il periodo della sua trasformazione in fortezza, ma in alcune mappe tardo medievali, il castello appare circondato, da una seconda cinta muraria semi quadrangolare, difesa da ben 11 torri.
Comunque nel 1485 la popolazione di Gallicano ottenne l'autorizzazione ad abbattere la Pieve, collocata fuori dal castello, per poter costruire un nuovo mastio  all'interno del castello, dentro il quale verrà anche edificata la nuova chiesa.