Через деякий час мати Армстронга, Мейенн, забрала Луї і надалі виховувала його сама, хоча належної уваги йому ніколи не приділяла. Вони жили в Сторівілі, районі, відомому своєю вільною мораллю, а також барами, клубами, танцзалами і публічними будинками. Армстронг з дитинства працював — розвозив вугілля, продавав газети тощо.