Хаджі Ґерай здобув традиційну мусульманську освіту, і рано вчився військовій справі. У володінні його родичів було місто Ліда в Білорусі (через це в тих місцях осіло багато татарських вершників, їх нащадки — литовські татари- живуть там й досі). Дитинство Хаджі минуло у Білорусі та Литві, тут він легко здружився з багатьма нащадками литовських багатих родин, зокрема, з майбутнім маршалом Литви Михайлом Радзивілом. Тут же знаходилися у вигнанні багато знатних людей, зокрема 13 синів Тохтамиша, рід Кереїв, Текіє, наступник роду Ширінів, багато мурз Криму та Дешт-і-Кипчаку.