Походив з давнього українського козацького роду Скаржинських. Життєпис Віктор Петрович Скаржинський народився 1787 року в родовому помісті — селі Трикрати, навчався в Херсоні, Миколаєві, Санкт-Петербурзі, служив у петербурзькому департаменті народної освіти. В 1811 році повернувся в родинний маєток.