Казали, що Андрій був позашлюбною дитиною власника маєтку в селі Міські Млини, харківського банкіра Григорія Рубінштейна. Як припускали сучасники, «можливо, цим у великій мірі й пояснюються незвичайно тяжкі й нездорові родинні стосунки, що їх описав Андрій в автобіографічному творі». Його дитинство було безрадісним і минуло в тяжких обставинах: голод, холод, загальні злидні, надмірна праця матері з одного боку, і пияцтво та знущання батька з другого.