Його прадід був польським шляхтичем з роду Глінок гербу Тшаска () — Вікторин Владислав Глінка (). Після втрати Польщею Смоленська 1654 року В. В. Глінка прийняв московське підданство і перейшов у православ'я. Царська влада зберегла за ним володіння на Смоленщині та шляхетські привілеї, в тому числі герб. Дитинство композитора минало в маєтку батька, відставного капітана Івана Миколайовича Глінки.