Едгар був четвертою дитиною в родині. Два його старших брати закінчили Єльський університет, а Едгар вчився в школі Браун. Коли ця школа закрилася на карантин під час епідемії дифтерії, його перевели в Маплхерстовську школу для дівчаток, а потім — у Ендоверську гарвардську школу, після закінчення якої Едгар поступив у Мічиганську військову академію. Пізніше Барроуз згадував, що у всіх школах він вчив грецьку й латинську мови, але в жодній з них не було курсу англійської мови.