Мама — Анна Тімофіївна Матвєєва (1903—1984) — працювала на молочнотоварній фермі. Брати — Валентин Олексійович Гагарін (народ. 1924) — працював теслею, і Борис (1936–1977) — працював на Гжатському радіоламповому заводі.