イーライ・ホイットニー
1765年12月8日、マサチューセッツ州ウェストボロー(en)で、裕福な農場主イーライ・ホイットニー・シニアとその妻エリザベス・フェイの長男として生まれる。父と同じ名前をつけられたので「ジュニア」付きで呼ばれたと思われるが、記録は残っておらず、生涯に亘ってイーライ・ホイットニーとして知られている。1820年に生まれた息子もイーライと名付けられ、こちらはイーライ・ホイットニー・ジュニアとして知られている。
ジョン・ヘイ・ホイットニー
父方の祖父ウィリアム・コリンズ・ホイットニーはアメリカ合衆国海軍長官、母方の祖父ジョン・ミルトン・ヘイはアメリカ合衆国国務長官であり、政界に強い繋がりのある家系であった。また産業界とも繋がりがあり、父ペインのおじであるオリヴァー・ハザード・ペインは、この頃にアメリカのタバコ事業者ジェームズ・ブキャナン・デュークとともに活動しており、ライバル会社を買収してアメリカンタバコ社を設立している。