Мати Олександра Шаргея хворіла й не виходила з психіатричної лікарні. Батько Олександра ж, з категорії «вічних студентів», навчався у Німецькій імперії. Олександр Шаргей писав в автобіографічній анкеті про своїх батьків таке: «…меня вырастил неродной дедушка». Після повернення до Російської імперії 1906 року батько, Ігнатій Бенедиктович, забрав із собою сина до столиці імперії Санкт-Петербургу.