In pochi anni diventava padrone di più della metà delle terre del villaggio e, nel 1452, otteneva dal duca Francesco Sforza il privilegio di costruirvi un castello, completato nel 1455.
Pochi anni dopo, alla sua morte, tutti i beni passavano alla figlia Susanna, che sposando un altro Lampugnani, Prospero, faceva in modo che il castello rimanesse nelle mani del casato milanese.
Nel 1481 erano ultimati gli interni del fortilizio previo il consenso dell'autorità ducale, nonostante i rapporti tra Lampugnani e Sforza non fossero stati sempre di stima e cordialità.
Durante l'Ottocento si registrarono le più recenti rielaborazioni strutturali del castello, già occorse più volte nel corso dei secoli precedenti.