パメラ・コールマン・スミス
ロンドン中心部のピムリコに生まれる。父はブルックリン生まれのアメリカ人商人、チャールズ・エドワード・スミス（祖父はブルックリンの市長だったサイラス・ポーター・スミス）、母はコーニー・コールマン（兄弟に画家のサミュエル・コールマンがいる）で、この二人の間にできた唯一の子であった。一家は、パメラが10歳になるまではマンチェスターにいたが、その後1889年に父チャールズが西インド改善会社（ジャマイカの鉄道事業の拡張に関与していた金融企業連合）に職を得た際に、ジャマイカに移住している。一家はジャマイカのキングストンに数年の間居を定めたものの、ジャマイカとロンドン、そしてニューヨークのブルックリンの間を往復していた。
グスタヴス・ウッドソン・スミス
1821年11月30日、スミスはケンタッキー州ジョージタウンにおいて、バード・スミス (Byrd Smith, 1790-1872) とサラ・ハッチャー・ウッドソン (Sarah Hatcher Woodson, 1796-1867) の息子として誕生した。スミスは1842年にニューヨーク州ウェストポイントの陸軍士官学校を第8席で卒業した。スミスは合衆国陸軍工兵隊に配属され、沿岸要塞の築城に従事した。この間、スミスはコネチカット州ニューロンドンにおいてルクレシア・バセット (1822-1881) と知り合い、1844年10月3日に結婚した。