Його дід і баба були емігрантами, рідною мовою для них були німецька та їдиш. Його батьки народилися і виросли у кварталі Нижній Іст-Енд на Мангетені: мати Неті (8 вересня 1906—27 січня 2002) була бухгалтером у сімейному кондитерському магазині, а батько Мартін (25 грудня 1900—13 січня 2001) — офіціантом і гравером-ювеліром. У сім'ї була ще молодша сестра Летті (народилася 1943 р.). Дитинство Вуді Аллена не було щасливим: стосунки з батьками — особливо з суворою матір'ю — виявилися не найкращими.