斎藤一
父・山口右助、母・ますの三子として生まれたとされる。姉に勝（ひさ）、兄に廣明。出身地は江戸。播磨国ともいわれるが、父が明石出身であったことから明石浪人を名乗ったようである。父・右助は播磨国明石藩の足軽であったが、江戸へ下り石高1,000石の旗本・鈴木家に仕えたと言う。後年、御家人株を買って御家人になったという[2]が、実際は鈴木家の公用人（家来）だった[3]。
斎藤一
それに対し、斎藤の研究をしていた作家・赤間倭子は、一刀流説を否定して無外流であるとしている[12]。子孫に言い伝えられている一刀流とは、無外流のもとになった山口一刀流のことであるという。斎藤は播磨国で無外流（山口一刀流）を修め、津田一伝流、関口流（柔術）も学んだという[12]。斎藤一が名乗った山口姓、斎藤姓と山口一刀流との関連も指摘している[12]。