메이지 시대 초기, 해군은 그동안 유력함 신예함으로 구성된 주력 부대를 "상비 함대", 잠수함 등으로 구성된 해안 방어를 위한 부대를 "보안 함대" 라고했다 . 그러나 청일 전쟁 개전 이후 "보안 함대"라는 것은 전시에 부적합하다는 의견이 나왔다. 한때는 "보안 함대"를 "상비 함대"로 통합하는 방안이 나왔지만 야마모토 곤노효에 대령이 "보안 함대"를 "서해 함대"로 개명, "상비 함대"와 "서해 함대"을 가지고 "연합 함대"를 조직하는 방안을 내놨다. 이것이 연합 함대의 시작이다.

그리고 청일 전쟁 개전 6일 만에 처음으로 연합 함대가 편성되었다. 이후 러일 전쟁 등 전시 및 훈련시에만 임시로 편성되었지만, 1923년 이후 영구화되었다.

연합 함대는 천황 직속의 연합 함대 사령 장관이 총괄하고 군령에 관해서는 군령부 총장, 군정에 관해서는 해군 장관의 지시를 받는다. 해당 함대는 1944년의 레이테 해전에서 사실상 괴멸되었다.

연합 함대 사령부는 사령관을 보좌하는 막료로 참모장 참모 부장 (쇼와 19년 ~), 수석 참모 (선임 참모로 통칭), 포술 참모, 수뢰 참모, 항공 참모, 통신 참모, 항해 참모, 기관 참모, 전정무 참모, 정무 참모, 회계사, 군의장, 기관장 등이 배치되었다. 그러나 수석 참모가 아닌 ○ ○ 참모는 통칭이다.

구 일본 해군은 오랫동안 연합 함대가 대표이며, 전함 등 주력함은 물론이고 구축함, 수송함 같은 보조 잠수함까지 대다수가 연합 함대에 포함되었다. 또한 연합 함대는 곧 실전 부대의 엘리트라는 생각이 강했고 해당 함대에 유능한 인재를 집중했다. 따라서 국지 경비 부대와 해상 호위 부대의 인재 육성을 경시했다. 공급 경시는 일본 육군과 같다. 그 결과, 원래 해군의 중요한 임무였던 해상 교통, 보급 확보에 충당해야 할 함정과 인력의 부족을 초래했다. 일본 해군은 전함 중심의 함대 결전 사상을 가지고 있던 동시에 항공 모함 기동 부대를 편성하고 참신한 함대 운용의 원조가 되었다. 해군 항공대의 육성, 전함의 함대 결전, 그리고 마지막으로 항공 모함 함대 결전을 목표로하고 있었다. 항공 모함 함대 결전의 사상은 1944년 6월 마리아나 해전의 패배로 포기되었지만 1944년 10월 레이테만 전투까지 연합 함대 중심주의의 함대 편성 운영을 하였다. 연합 함대 중심주의의 결과, 해상 호위 부대, 대잠 초계 부대 (헌터 킬러)의 편성에 뒤진다.

1945년 4월 전함 야마토 이하 제2함대의 텐고 작전에서의 해상 특공은 제2함대 해체에 대한 결정을 못한 채 레이테만 전투에서 처럼 항공 부대의 지원없이 무모한 돌입 전략을 반복하였다. 오키나와 전투에서 살아남은 전함 "나가토"같은 대형 함정은 사실상 국지 경비대 해안 포대로 사용되었다. 그리고 특공 병기 "회천", "해룡", "진양" 등을 배포한 특공대가 해군의 주력 함정이 되어 있었다. 전쟁 말기, 연합 함대는 사실상 해체되고 있던 것이다.
연합 함대가 국지 경비 부대와 해상 호위 부대의 인재 육성을 경시해 일어난 결과는?
해상 교통, 보급 확보에 충당해야 할 함정과 인력의 부족