Стороженки мали родинні зв'язки з Милорадовичами, Полуботками, Горленками. Олекса Стороженко приходився далеким родичем (троюрідним дідом по жіночій лінії) Левку Миколайовичу та Дмитру Миколайовичу Ревуцьким.