Загалом батько Мандели мав чотирьох дружин і тринадцятьох дітей (чотирьох хлопчиків і дев'ятьох дівчаток). Мандела був сином третьої дружини Ґадли ('третьою' за рангом), Носекені Фенні, в чиєму умці (маєтку) Нельсон провів більшу частину свого дитинства. Його ім'я Роліглагла (Rolihlahla) означає «Той, хто сам собі приносить неприємності».