Він походив з багатої ірландської сім'ї, в якій було дев'ять дітей. Його батько, Джозеф Кеннеді (1888—1969), був відомим політиком, близьким радником президента Франкліна Рузвельта, послом США у Великій Британії (1938—1940). Мати — Роуз Елізабет Фіцджеральд (1890—1995), була найстаршою дочкою мера міста Бостон Джона Френсіса Фіцджеральда (1863—1950). Усі четверо його бабусь та дідусів були дітьми іммігрантів з Ірландії.