LLM can be self-improved by distilling reasoning steps to solve complex problems. Huang et al. (2022) employs an LLM with self-consistency to generate reasoning chains from unlabeled data. These chains are subsequently utilized to fine-tune the model, enhancing its generalized reasoning capabilities. Zelikman et al. (2022) proposes STaR, a few-shot learning approach to improve LM's reasoning capabilities using a self-loop bootstrap strategy. SECToR (Zhang and Parkes, 2023) uses chain-of-thought to obtain arithmetic answers, then fine-tune the model to generate the answer without CoT directly.
LLM can be self-improved by distilling reasoning steps to solve complex problems. Huang 등(2022)은 자기 일관성을 갖춘 LLM을 사용하여 라벨이 없는 데이터에서 추론 체인을 생성합니다. 이러한 체인은 모델을 Fine-tuning하는 데 활용되어 일반화된 추론 기능을 향상시킵니다. Zelikman 등(2022)은 자기 루프 부트스트랩 전략을 사용하여 LM의 추론 기능을 개선하는 few-shot 학습 접근 방식인 STaR을 제안합니다. SECToR(Zhang and Parkes, 2023)은 chain-of-thought를 사용하여 산술 답을 얻은 다음, 모델을 Fine-tuning하여 CoT 없이 직접 답을 생성합니다.
복잡한 문제를 해결하기 위해 추론 단계를 증류하여 LLM을 자체 개선할 수 있습니다. Huang 등(2022)은 자기 일관성을 갖춘 LLM을 사용하여 라벨이 없는 데이터에서 추론 체인을 생성합니다. 이러한 체인은 모델을 미세 조정하는 데 활용되어 일반화된 추론 기능을 향상시킵니다. Zelikman 등(2022)은 자기 루프 부트스트랩 전략을 사용하여 LM의 추론 기능을 개선하는 몇 번의 샷 학습 접근 방식인 STaR을 제안합니다. SECToR(Zhang and Parkes, 2023)은 생각의 사슬을 사용하여 산술 답을 얻은 다음, 모델을 미세 조정하여 CoT 없이 직접 답을 생성합니다.