Arthur Cory, 49, sade att flaggan hade förvarats i ett skåp vid Penllyn Castle nära Cowbridge, eftersom han var en pojke.
Flaggan, en av bara tre överlevande från slaget, förväntas hämta upp till 50.000 pund på auktion.
Det sägs ha flugit över Nelsons krigsfartyg HMS Leviathan.
Flaggans "mest troliga" väg till Penllyn Castle var genom Mr Corys förfader Nicholas Cory, en bakre amiral på William IV: s Royal George yacht, auktionshuset sade.
Roland Elworthy, senior värderare på Holts auktionsförrättare, sa att han hade "inget tvivel om flaggans härkomst".
En man från Vale av Glamorgan säljer en sällsynt fackflagga, som sägs ha flugits vid slaget vid Trafalgar.