our framework can be flexibly applied to a wide range of LMs, we use FLAN-T5 (Longpre et al., 2023) models in this work because they are open-source and instruction-tuned on both QA and CoT data, enabling us to use it off-the-shelf without additional training or prompt engineering.1 Our experiment results show that LM-guided CoT prompting outperforms both the standard prompting and the original CoT prompting. More precisely, we find that (1) LM-guided CoT with KD and self-consistency (SC) decoding strategy (Wang et al., 2022b) maximizes the performance gain; (2) RL contributes to a slight increase in overall rationale quality and task performance; (3) choosing the highest-quality rationales for the large LM does not always guarantee improved task performance. This work presents a unique alternative to the direct optimization of the large LM through fine-tuning the comparatively smaller LM. Moreover, the clear separation of two fundamental sub-tasks within CoT reasoning grants practitioners greater control over each task.
우리의 프레임워크는 광범위한 LMs에 유연하게 적용될 수 있지만, 이 작업에서는 FLAN-T5(Longpre et al., 2023) 모델을 사용하는데, 이 모델은 오픈 소스이며 QA 및 CoT 데이터에 대해 Instruction-tuned 되어 추가 훈련이나 프롬프트 엔지니어링 없이도 바로 사용할 수 있기 때문입니다. 실험 결과, LM 가이드 CoT 프롬프트가 표준 프롬프트와 기존 CoT 프롬프트보다 성능이 뛰어나다는 것을 보여주었습니다. 더 정확하게는 (1) KD 및 self-consistency (SC) 디코딩 전략(Wang et al., 2022b)을 사용한 LM 가이드 CoT가 성능 향상을 극대화한다는 것을 발견했습니다. (2) Reinforcement Learning (RL)은 전반적인 근거 품질과 작업 성능을 약간 증가시키는 데 기여합니다. (3) 대규모 LM에 가장 높은 품질의 근거를 선택하는 것이 항상 작업 성능 향상을 보장하는 것은 아닙니다. 이 작업은 상대적으로 작은 LM을 Fine-tuning하여 대규모 LM을 직접 최적화하는 데 대한 독특한 대안을 제시합니다. 또한 CoT 추론 내에서 두 가지 기본 하위 작업을 명확하게 분리함으로써 실무자가 각 작업을 더 잘 제어할 수 있습니다.
우리의 프레임워크는 광범위한 LM에 유연하게 적용될 수 있지만, 이 작업에서는 플랜-T5(Longpre et al., 2023) 모델을 사용하는데, 이 모델은 오픈 소스이며 QA 및 CoT 데이터에 대해 지시 조정되어 추가 훈련이나 프롬프트 엔지니어링 없이도 바로 사용할 수 있기 때문입니다.1 실험 결과, LM 가이드 CoT 프롬프트가 표준 프롬프트와 기존 CoT 프롬프트보다 성능이 뛰어나다는 것을 보여주었습니다. 더 정확하게는 (1) KD 및 자체 일관성(SC) 디코딩 전략(Wang et al., 2022b)을 사용한 LM 가이드 CoT가 성능 향상을 극대화한다는 것을 발견했습니다. (2) RL은 전반적인 근거 품질과 작업 성능을 약간 증가시키는 데 기여합니다. (3) 대규모 LM에 가장 높은 품질의 근거를 선택하는 것이 항상 작업 성능 향상을 보장하는 것은 아닙니다. 이 작업은 상대적으로 작은 LM을 미세 조정하여 대규모 LM을 직접 최적화하는 데 대한 독특한 대안을 제시합니다. 또한 CoT 추론 내에서 두 가지 기본 하위 작업을 명확하게 분리함으로써 실무자가 각 작업을 더 잘 제어할 수 있습니다.