Thuở nhỏ, Lê Văn Trương học tiểu học ở Bắc Giang. Năm 1921, ông theo cha về Hà Nội thi vào học trường Trung học Bảo hộ (tức trường Bưởi, Hà Nội). Học đến năm thứ ba (có sách ghi năm thứ hai) thì bị đuổi, vì cùng với một vài bạn cầm đầu cuộc phản kháng chống lại một Hiệu trưởng người Pháp đã mắng học sinh người Việt là "Sale Annamite" ("Tên An Nam bẩn thỉu!").