Походження з селян: батько — Олексій Іванович Гагарін, тесляр; матір — Ганна Тимофіївна (дівоче прізвище Матвєєва), доярка. Рід по батьку походить з с. Конишеве Чухломського повіту Костромської губернії, звідки на Смоленщину переселився дід космонавта — Іван Федорович Гагарін.