text: Чарльз женился на Анне Ли (1 декабря 1770 — 9 сентября 1804), его двоюродной сестре и дочери Ричарда Генри Ли (его двоюродного брата), от брака, который продлился до смерти супруги было шесть детей; Энн Ли Люсинда (1790—1845), малолетний сын (Артур) Ли (1791—1791), Ричард Генри Ли (февраль 1793 — март 1793), Чарльз Генри Ли (род. октябрь 1794), Уильям Артур Ли (сентябрь 1796—1817), Альфред Ли (1799—1865).