A família então vivia em Nova York, se mudando constantemente de casa. Martin passou a juventude viajando por todo o país no período da Grande Depressão. Entretanto, ele não possuía uma casa. Em 1929 Louis Silberkleit, na época gerente de circulação da Oriental Distributing Corp, contratou Martin para seu departamento.