Inconsistency is another major challenge in reasoning, Dua et al. (2022) iteratively uses previous reasoning results as prompts until the model gives a consistent answer. Paul et al. (2023) trains a critic model to provide structured feedback on the reasoning process. Self-Refine (Madaan et al., 2023) performs iterative self-feedback and refinement to alleviate errors in reasoning. Compared with Self-Refine, Reflexion (Shinn et al., 2023) introduces reinforcement learning for reflection, which additionally brings decision-making capability. Meanwhile, some work introduces backward reasoning (Yu et al., 2023) for verification. RCoT (Xue et al., 2023) reconstructs the question according to the reasoning chains, and its inconsistency with the original question exposes errors in the reasoning process. FOBAR (Jiang et al., 2023) and Self Verification (Weng et al., 2022) perform verification by deducing the conditions in the question from the answer. FOBAR infers the variables in the question, and Self Verification infers the conditions in the question. However, Huang et al. (2023) finds that LLMs struggle to self-correct without external feedback, and it could even lead to a performance decline.
일관성이 없는 것은 추론의 또 다른 주요 과제이며, Dua 등(2022)은 모델이 일관된 답을 제공할 때까지 이전 추론 결과를 프롬프트로 반복적으로 사용합니다. Paul 등(2023)은 추론 과정에 대한 구조화된 피드백을 제공하기 위해 비평 모델을 훈련합니다. Self-Refine(Madaan et al., 2023)은 반복적인 자체 피드백 및 개선을 수행하여 추론의 오류를 완화합니다. Self-Refine과 비교하여 Reflexion(Shinn et al., 2023)은 반성을 위한 Reinforcement Learning을 도입하여 의사 결정 기능을 추가로 제공합니다. 한편, 일부 연구에서는 검증을 위해 역 추론(Yu et al., 2023)을 도입합니다. RCoT(Xue et al., 2023)는 추론 체인에 따라 질문을 재구성하며, 원래 질문과의 불일치는 추론 과정의 오류를 노출시킵니다. FOBAR(Jiang et al., 2023)와 Self Verification(Weng et al., 2022)은 질문의 조건을 답변에서 추론하여 검증을 수행합니다. FOBAR는 질문의 변수를 추론하고, Self Verification은 질문의 조건을 추론합니다. 그러나 Huang 등(2023)은 LLM이 외부 피드백 없이 자체 수정하는 데 어려움을 겪으며, 성능이 저하될 수도 있다는 사실을 발견했습니다.
일관성이 없는 것은 추론의 또 다른 주요 과제이며, Dua 등(2022)은 모델이 일관된 답을 제공할 때까지 이전 추론 결과를 프롬프트로 반복적으로 사용합니다. Paul 등(2023)은 추론 과정에 대한 구조화된 피드백을 제공하기 위해 비평 모델을 훈련합니다. 셀프 리파인(Madaan et al., 2023)은 반복적인 자체 피드백 및 개선을 수행하여 추론의 오류를 완화합니다. 셀프 리파인과 비교하여 리플렉션(신 등, 2023)은 반성을 위한 강화 학습을 도입하여 의사 결정 기능을 추가로 제공합니다. 한편, 일부 연구에서는 검증을 위해 역 추론(Yu et al., 2023)을 도입합니다. RCoT(Xue et al., 2023)는 추론 체인에 따라 질문을 재구성하며, 원래 질문과의 불일치는 추론 과정의 오류를 노출시킵니다. FOBAR(Jiang et al., 2023)와 자체 검증(Weng et al., 2022)은 질문의 조건을 답변에서 추론하여 검증을 수행합니다. FOBAR는 질문의 변수를 추론하고, 자체 검증은 질문의 조건을 추론합니다. 그러나 Huang 등(2023)은 LLM이 외부 피드백 없이 자체 수정하는 데 어려움을 겪으며, 성능이 저하될 수도 있다는 사실을 발견했습니다.