James Daniel Hardy nasce insieme al fratello gemello Julian il 14 Maggio 1918 a Birmingham. Era il figlio di un proprietario di una piantagione di lime nella città di Newala, situata a 35 miglia da Birmingham, in Alabama. Città il quale nome venne istituito dal padre di Hardy che combinò i nomi della propria città natale ("New" da "New York") e quello dello stato natale della madre di Hardy ("Ala" da "Alabama"). 