1939년 봄, 할더는 육군 총참모장으로서 폴란드 침공작전을 입안하기 시작했다. 할더는 폴란드군은 멍청하기 때문에 2-3주면 공세를 끝낼 수 있다고 큰소리를 쳤다.

1939년 9월 1일, 독일군은 폴란드를 침공하였고 제2차 세계대전이 본격적으로 시작되었다. 할더는 SS의 유대인과 폴란드 지도층 절멸작전을 알고 있었지만, 이를 묵인하고 있었다.

1939년 11월 할더는 히틀러가 전쟁을 확대하는 것을 막기 위해 발터 폰 브라우히치와 만나 히틀러 정권의 전복을 논의했으나, 브라우히치는 이를 거절하였다. 할더는 히틀러의 전장 확대 방침을 반대했고, 이것이 독일의 궁극적인 몰락을 가져올 것을 알고 있었지만, 히틀러에 대한 충성 선서를 한 장교들은 히틀러를 전복할 음모에 가담하지 않는다는 것을 알고 있었다. 그래서 그는 히틀러를 단독으로 저격할 생각을 하기도 했으나 실행에 옮기지는 못했다.

1939년 말, 프랑스, 네덜란드와 벨기에와 같은 저지국가, 발칸 반도로 독일군이 진공할 계획이 세워졌다. 할더는 총참모장으로서 이러한 계획이 세워지는 것을 보고 독일군이 과연 마지노 선으로 방어된 프랑스를 성공적으로 침공할 수 있을지 의문을 가졌다. 그러나 만슈타인이 제의한 아르덴느 숲을 돌파하는 제안이 채택되어 의표를 찔린 프랑스는 패퇴했고 독일은 승리를 거두었다.

이후 1940년 7월 19일 총참모장으로서 공적에 의해 할더는 상급대장으로 승진하였고, 참모본부는 이해 8월부터 히틀러의 명령에 의해 소련침공계획 (바르바로사 작전) 을 입안하기 시작했다.

1941년 6월 바르바로사 작전이 시작된 이후 독일군은 대성공을 거두었지만 12월부터 시작된 소련군의 반격때문에 독일군은 물러설 수밖에 없었다. 1942년 봄 다시 독일군은 공세를 시작하였고, 할더는 히틀러에게 소련군의 병력이 예상보다 훨씬 많다는 것을 히틀러에게 보고했으나, 히틀러는 이를 무시했고, 소련은 이미 붕괴상태에 있다고 주장하였다. 할더는 특히 히틀러가 강력히 주장한 코카서스 공격안을 반대하였다. 1942년 9월 24일 결국 히틀러는 자기와 의견이 잘 맞지 않는 할더를 예편처분시켜 해임하였다. 할더가 반대한 코카서스 공격안은 결국 스탈린그라드 전투에서 독일군의 대참패로 끝나게 되었다.
히틀러 정권을 전복시키자는 할더의 제안에 동의한 사람은?
브라우히치