イーライ・ホイットニー
1765年12月8日、マサチューセッツ州ウェストボロー(en)で、裕福な農場主イーライ・ホイットニー・シニアとその妻エリザベス・フェイの長男として生まれる。父と同じ名前をつけられたので「ジュニア」付きで呼ばれたと思われるが、記録は残っておらず、生涯に亘ってイーライ・ホイットニーとして知られている。1820年に生まれた息子もイーライと名付けられ、こちらはイーライ・ホイットニー・ジュニアとして知られている。
ジョン・ヘイ・ホイットニー
メイン州エリズワースの出身で、父はペイン・ホイットニー（）、母はヘレン・ヘイ（ ヘレン・ジュリア・ヘイ・ホイットニー）である。姉にジョーン・ホイットニー（ ジョーン・ホイットニー・ペイスン）がいる。