По батькові його сім'я походила з міста Фермой, що у графстві Корк. У 1887 році його батька, Джона Станіслауса Джойса (), було призначено податковим інспектором у Дубліні, і сім'я переїхала до престижного містечка Брей, що в 12 милях (19 км) від Дубліна. Приблизно у цей час на маленького Джеймса напав собака, що спричинило фобію собак, якою він страждав все своє подальше життя. Також він страждав від боязні грому, який його тітка трактувала як ознаку Божого гніву.