There have been many works on training and exploiting language models to solve difficult tasks by first training them to reason through them. For example, Rajani et al. (2019) demonstrated that a pre-trained language model fine-tuned to output on human reasoning traces before answering multiple-choice commonsense reasoning questions outperformed one trained directly on answers. Shwartz et al. (2020) demonstrated that language models, when provided with some scaffolding, can generate these helpful chain-of-thought solutions without additional supervision. Later, Nye et al. (2021) demonstrated that "scratchpads" required less scaffolding when the language models were more capable, a result later reinforced by Wei et al. (2022), emphasizing informal tasks, and further strengthened by Kojima et al. (2022), demonstrating this behavior could be accomplished zero-shot. Most recently, Wang and Zhou (2024) showed further that for commonsense-question answering, one could force a language model to leverage chain-of-thought reasoning by preventing it from emitting any valid answer tokens unless it was confident. However, once again, these approaches only work for a question-answer dataset, and Wang and Zhou (2024) relies on heuristics to identify when the model has output answer tokens. Somewhat like TRICE (Phan et al., 2023), we use the relative improvements in the log-likelihood of the target text across rationales as an estimate of quality, but we simply subtract the mean reward and do not incorporate more complex control variates.
어려운 작업을 해결하기 위해 언어 모델을 훈련하고 활용하는 많은 연구가 진행되어 왔습니다. 예를 들어, Rajani 등(2019)은 객관식 상식 추론 문제에 답하기 전에 인간의 추론 흔적에 대해 출력하도록 미리 훈련된 언어 모델을 Fine-tuning한 것이 답변에 대해 직접 훈련된 모델보다 성능이 뛰어나다는 것을 입증했습니다. Shwartz 등(2020)은 언어 모델이 약간의 비계를 제공받으면 추가적인 감독 없이도 이러한 유용한 chain-of-thought 솔루션을 생성할 수 있음을 입증했습니다. 이후 Nye 등(2021)은 언어 모델의 능력이 뛰어날수록 'scratchpads'에 덜 많은 비계가 필요하다는 사실을 입증했으며, 이 결과는 Wei 등(2022)이 비공식적인 과제를 강조하면서 더욱 강화되었고, Kojima 등(2022)이 이 행동을 zero-shot으로 수행할 수 있음을 입증하면서 더욱 강화되었습니다. 가장 최근에 Wang과 Zhou(2024)는 상식 질문에 답할 때 언어 모델이 자신감이 있지 않은 한 유효한 답변 토큰을 내보내지 못하도록 함으로써 chain-of-thought reasoning을 활용하도록 강제할 수 있음을 보여주었습니다. 그러나 다시 말하지만, 이러한 접근 방식은 질문-답변 데이터 세트에만 적용되며, Wang과 Zhou(2024)는 모델이 답변 토큰을 출력한 시점을 식별하기 위해 heuristics에 의존합니다. TRICE(Phan et al., 2023)와 비슷하게, 우리는 합리에 따라 대상 텍스트의 로그 확률의 상대적 개선을 품질의 추정치로 사용하지만, 단순히 평균 보상을 빼고 더 복잡한 제어 변수를 통합하지 않습니다.
어려운 작업을 해결하기 위해 언어 모델을 훈련하고 활용하는 많은 연구가 진행되어 왔습니다. 예를 들어, Rajani 등(2019)은 객관식 상식 추론 문제에 답하기 전에 인간의 추론 흔적에 대해 출력하도록 미리 훈련된 언어 모델을 미세 조정한 것이 답변에 대해 직접 훈련된 모델보다 성능이 뛰어나다는 것을 입증했습니다. Shwartz 등(2020)은 언어 모델이 약간의 비계를 제공받으면 추가적인 감독 없이도 이러한 유용한 연쇄 사고 솔루션을 생성할 수 있음을 입증했습니다. 이후 Nye 등(2021)은 언어 모델의 능력이 뛰어날수록 '스크래치패드'에 덜 많은 비계가 필요하다는 사실을 입증했으며, 이 결과는 Wei 등(2022)이 비공식적인 과제를 강조하면서 더욱 강화되었고, Kojima 등(2022)이 이 행동을 제로 샷으로 수행할 수 있음을 입증하면서 더욱 강화되었습니다. 가장 최근에 Wang과 Zhou(2024)는 상식 질문에 답할 때 언어 모델이 자신감이 있지 않은 한 유효한 답변 토큰을 내보내지 못하도록 함으로써 연쇄 사고 추론을 활용하도록 강제할 수 있음을 보여주었습니다. 그러나 다시 말하지만, 이러한 접근 방식은 질문-답변 데이터 세트에만 적용되며, Wang과 Zhou(2024)는 모델이 답변 토큰을 출력한 시점을 식별하기 위해 휴리스틱에 의존합니다. TRICE(Phan et al., 2023)와 비슷하게, 우리는 합리에 따라 대상 텍스트의 로그 확률의 상대적 개선을 품질의 추정치로 사용하지만, 단순히 평균 보상을 빼고 더 복잡한 제어 변수를 통합하지 않습니다.