Засновником роду вважається Григорій Караджи (прадід Василя Назаровича) — архієпископ міста Софії. Дід Каразіна, Олександр Григорович, переїхав до Російської імперії за часів імператора Петра І. Саме тоді його прізвище було записано з російським закінченням (Каразін).