Han drogs ur vattnet av RNLI: s Penlee Inshore Livbåt vid cirka 13:35 BST på söndag, Devon och Cornwall Polisen sade.
En besättningsmedlem simmade till mannen och "återfann honom" efter att han hittades nära fören av en mete båt förtöjd vid sidan av Albert Pier, RNLI sade.
Mannen, som sades vara lokal, flögs till Royal Cornwall Hospital i Truro och förklarades död.
Polisen sa att mannen hade rapporterats svävande i vattnet av en segelklubb.
En man dog trots ett räddningsförsök i Penzance Harbour.