그가 남아프리카로 돌아와서 검사를 맡고 있던 중, 1899년 10월 11일 보어 공화국들- 오렌지 자유국과 트란스발 공화국이 케이프 식민지와 나탈 식민지를 침공함으로써 제2차 보어 전쟁이 발발하게 되었다. 전쟁 초기에, 스뮈츠는 프로파갠다를 전달하고 장군들 사이의 통신을 맡았다.

그러다가 전쟁 중반, 그는 트란스발에서 500명의 게릴라를 지휘하는 쿠스 드 라 레이 장군의 지휘를 받게 되었고, 그와 함께 여러 게릴라전에서 활약하여 영국군을 격퇴하였다. 하지만 드 라 레이가 서부 트란스발로 가면서 스뮈츠는 300명의 게릴라들을 이끌게 되었다. 한편, 키치너가 이끄는 영국군은 청야전술을 펼치며 보어인 농장들을 파괴하여 보금을 끊고 있었는데, 거기서 발생한 100여명의 보어인 난민이 스뮈츠 지휘 하로 들어왔으나 스뮈츠가 이끄는 병력만으로는 적에 대항하기 힘들었기 때문에 크리칭거 장군에게 가야 했다. 가면서 영국이 청야전술로 주변 지역에서 보급하는 것을 끊어놓았기 때문에 식량이 부족하여 게릴라에 참여하려는 자원자들의 90%정도를 거절해야 했다. 하지만 그들은 계속되는 게릴라전으로 적의 수송로와 농장을 공격하고 아프리카너 프로파갠다를 뿌렸다. 심지어 기차에다가 폭약을 가득 적재한 후 광산도시인 오키에프로 보내서 공격하려고 시도한 적도 있었다. 한편 보어인들이 점점 불리해지고 결국 1902년 5월 31일 베르니이헝에서 평화조약을 맺게 되는데 평화조약을 맺기 전에 그는 키치너 장군과 만나 보어인들이 항복하는 조건을 크룬스탠드 역에서 합의하였다. 그는 보어 전쟁이 장기화되면서 많은 보어인 어린이와 여자들이 강제수용소에서 기아와 질병으로 죽는 것을 알고 있었고, 결국 이 전쟁을 끝내기 위해 항복하기로 키치너와 합의하였다.
한편, 1897년에는 부인인 이지 크리헤와 결혼하였으며, 1898년에는 트란스발의 파울로 크루거 대통령에 의해 프리토리아의 검사로 발령받았다.
청야전술로 약 100명 정도의 보어인 난민을 만든 인물은?
키치너