Його батьки емігрували до США 3 липня 1878 року, коли Еріку було чотири роки. Спочатку сімейство влаштувалося в містечку Епплтон (штат Вісконсин), де його батько — Меєр Семюел Вайс (1829—1892) — отримав посаду рабина реформістської синагоги Zion Reform Jewish Congregation (реформістська єврейська громада Сіона). У 1887 році Гудіні з батьком переїхали в Нью-Йорк, де до них незабаром приєдналися мати артиста Сесілія (Цецилія) Штайнер (1841—1913) і шестеро його братів і сестер.