**LM-Guided CoT** is a novel framework that decomposes a conventional CoT prompting into two steps using two models: (1) rationale generation and (2) answer prediction. This includes distilling the reasoning ability from a large LM to a small LM and further optimizing it with RL. The results reveal that our method outperforms all baselines, highlighting its potential to serve as an effective and resource-efficient approach to tackle challenges within the CoT prompting paradigm. Meanwhile, we also find that selecting top-quality rationales for answer prediction may not consistently boost task performance. This prompts the need to explore a more harmonious balance between LM-generated rationale utilities and overall task performance.
**LM-Guided CoT**는 두 개의 모델을 사용하여 기존 CoT 프롬프트를 두 단계로 분해하는 새로운 프레임워크입니다: (1) 근거 생성 및 (2) 답 예측입니다. 여기에는 대규모 LM에서 소규모 LM으로 추론 능력을 증류하고 RL로 최적화하는 것이 포함됩니다. 그 결과, 이 방법이 모든 baseline보다 성능이 뛰어나다는 것이 밝혀져 CoT 프롬프트 패러다임 내에서 문제를 해결하는 효과적이고 리소스 효율적인 접근 방식으로서의 잠재력을 강조합니다. 한편, 답변 예측을 위해 최고 품질의 근거를 선택하는 것이 작업 성능을 일관되게 향상시키지 못할 수도 있다는 사실도 발견했습니다. 따라서 LM이 생성한 근거 유용성과 전반적인 작업 성능 간의 보다 조화로운 균형을 모색해야 할 필요성이 제기되었습니다.
**LM 가이드 CoT**는 두 개의 모델을 사용하여 기존 CoT 프롬프트를 두 단계로 분해하는 새로운 프레임워크입니다: (1) 근거 생성 및 (2) 답 예측입니다. 여기에는 대규모 LM에서 소규모 LM으로 추론 능력을 증류하고 RL로 최적화하는 것이 포함됩니다. 그 결과, 이 방법이 모든 기준보다 성능이 뛰어나다는 것이 밝혀져 CoT 프롬프트 패러다임 내에서 문제를 해결하는 효과적이고 리소스 효율적인 접근 방식으로서의 잠재력을 강조합니다. 한편, 답변 예측을 위해 최고 품질의 근거를 선택하는 것이 작업 성능을 일관되게 향상시키지 못할 수도 있다는 사실도 발견했습니다. 따라서 LM이 생성한 근거 유용성과 전반적인 작업 성능 간의 보다 조화로운 균형을 모색해야 할 필요성이 제기되었습니다.