군단은 다이호 원년(701년) 제정된 다이호 율령에 규정되어 있다. 하지만 언제 성립되었는지 직접 적혀 있는 사료는 없다. 7세기 중반까지 일본의 군대는 중앙과 지방의 호족들이 종자들이나 예하 인민들을 무장해서 편성했다. 이를 역사학계에서는 국조군이라고 한다. 국조군과 비교해서 군단의 특징은 군인을 국가가 징병했다는 것과, 군사조직을 지방 민정기구와 분리했다는 점 두 가지다. 늦게 보는 설로는 다이호 율령이 반포되면서 군단도 설치되었다는 설, 좀 더 빨리 보는 설에서는 지토 천황 3년(689년)의 아스카키요미하라령으로 설치되었다는 설이 있다.

군인을 국가가 징병하기 위해서는 개별 주민을 추적하는 호적을 작성하여 그 호적을 바탕으로 해당자의 군복무 적합성을 결정해야 한다. 그러기 위해서는 호적으로 인민 개개인을 파악할 수 있는 체제가 만들어져야 한다. 일본에서 호적제도는 텐지 천황 9년(670년)의 경오년적으로 시작되었기에 이 즈음도 유력한 후보다. 그러나 경오년적은 불충분하다고 보고 지토 천황 5년(690년)의 경인년적으로 보는 설도 있다. 

국가에 징병된 병사는 군단에 편성될 수도 있지만, 평(評: 이후의 군郡) 단위로 부대를 이루어 평의 역인(役人)의 통솔을 받았을지도 모른다. 그러한 것을 다이호 이후 시대의 군단과 같은 것으로 보는 것은 무리이고, 평제군 또는 평조군이라고 불러야 할 것이다. 군단 성립의 또다른 기준으로 지휘관인 군의(軍毅)의 성립과 평의 참여 기준 유무가 주목되는 이유다. 군대지휘용구와 대형무기를 사가에 둔 군가(郡家; 실상 평의 역소)에게 내놓을 것을 명한 텐무 천황 14년(685년) 11월 4일의 조서는, 이 시기에 군사지휘권이 평에게 있었음을 추정게 하는 유력한 증거다. 그래서 종합적으로 아스카키요미하라령과 다이호 율령이 유력 후보로 좁혀진다.
대형무기와 군대지휘용구를 군가에게서 거둬 들일 것을 명한 천황은?
텐무 천황