* _Reasoning inconsistency._ With improved reasoning strategies (_e.g.,_ CoT prompting), LLMs can solve some complex reasoning tasks, by performing step-by-step reasoning based on the supporting logic and evidence. Despite the effectiveness, the _reasoning inconsistency_ issue often occurs in the decomposed reasoning process. Concretely, LLMs may generate the correct answer following an invalid reasoning path, or produce a wrong answer after a correct reasoning process [33, 442], leading to inconsistency between the derived answer and the reasoning process. To alleviate this problem, existing work has proposed to guide the whole generation process of LLMs via external tools or models [636, 451, 437], to re-check the reasoning process and final answer for correcting the potential errors [685, 686, 687] or fine-tune LLMs with process-based feedback [688, 689]. For instance, _Tree of Thoughts (ToT)_[451] empowers LLMs to engage in the decision-making process by concurrently exploring and self-evaluating various reasoning paths. To refine the reasoning processes, Self-Refine [685] elicits feedback from LLMs on self-generated solutions, enabling the iterative refinement of solutions based on the feedback. Moreover, several studies improve the consistency in the reasoning chain of LLMs through the integration of process-based supervision during training [688, 689]. As a promising solution, recent approaches reformulate the complex reasoning tasks into code generation tasks, where the strict execution of the generated code ensures the consistency between the reasoning process and the outcome. Also, it has been revealed that there might exist inconsistency between tasks with similar inputs, where small changes in the task description may cause the model to produce different results [592, 49]. To mitigate this problem, self-consistency [436] adopts the ensemble of multiple reasoning paths to enhance the decoding process of LLMs.
* _Reasoning inconsistency._ 추론 전략이 개선되면(_예:_ CoT prompting) LLM은 지원 논리와 증거를 기반으로 단계별 추론을 수행하여 일부 복잡한 추론 작업을 해결할 수 있습니다. 효과에도 불구하고 분해된 추론 과정에서 _reasoning inconsistency_ 문제가 종종 발생합니다. 구체적으로, LLM은 잘못된 추론 경로를 따라 정답을 생성하거나 올바른 추론 과정을 거친 후 오답을 생성하여 도출된 답과 추론 과정 간에 불일치를 초래할 수 있습니다[33, 442]. 이 문제를 완화하기 위해 기존 연구에서는 외부 도구나 모델을 통해 LLM의 전체 생성 과정을 안내하여 잠재적 오류를 수정하기 위해 추론 과정과 최종 답을 다시 확인하거나[636, 451, 437] 프로세스 기반 피드백으로 LLM을 Fine-tuning하도록 제안했습니다[688, 689]. 예를 들어, _Tree of Thoughts (ToT)_[451]는 LLM이 다양한 추론 경로를 동시에 탐색하고 자체 평가하여 의사 결정 과정에 참여할 수 있도록 지원합니다. 추론 과정을 구체화하기 위해 Self-Refine [685]은 자체 생성된 솔루션에 대해 LLM으로부터 피드백을 유도하여 피드백을 기반으로 솔루션을 반복적으로 개선할 수 있도록 합니다. 또한, 여러 연구에서는 훈련 중에 프로세스 기반 감독을 통합하여 LLM의 추론 체인의 일관성을 개선하고 있습니다[688, 689]. 유망한 솔루션으로, 최근 접근 방식은 복잡한 추론 작업을 코드 생성 작업으로 재구성하여 생성된 코드의 엄격한 실행을 통해 추론 과정과 결과 사이의 일관성을 보장합니다. 또한, 작업 설명의 작은 변화로 인해 모델이 다른 결과를 생성할 수 있는 유사한 입력을 가진 작업 간에 불일치가 존재할 수 있음이 밝혀졌습니다[592, 49]. 이 문제를 완화하기 위해 self-consistency[436]는 여러 추론 경로의 앙상블을 채택하여 LLM의 디코딩 과정을 향상시킵니다.
* _추론 일관성._ 추론 전략이 개선되면(_예:_ CoT 프롬프트) LLM은 지원 논리와 증거를 기반으로 단계별 추론을 수행하여 일부 복잡한 추론 작업을 해결할 수 있습니다. 효과에도 불구하고 분해된 추론 과정에서 _추론 일관성_ 문제가 종종 발생합니다. 구체적으로, LLM은 잘못된 추론 경로를 따라 정답을 생성하거나 올바른 추론 과정을 거친 후 오답을 생성하여 도출된 답과 추론 과정 간에 불일치를 초래할 수 있습니다[33, 442]. 이 문제를 완화하기 위해 기존 연구에서는 외부 도구나 모델을 통해 LLM의 전체 생성 과정을 안내하여 잠재적 오류를 수정하기 위해 추론 과정과 최종 답을 다시 확인하거나[636, 451, 437] 프로세스 기반 피드백으로 LLM을 미세 조정하도록 제안했습니다[688, 689]. 예를 들어, _생각의 나무(ToT)_[451]는 LLM이 다양한 추론 경로를 동시에 탐색하고 자체 평가하여 의사 결정 과정에 참여할 수 있도록 지원합니다. 추론 과정을 구체화하기 위해 Self-Refine [685]은 자체 생성된 솔루션에 대해 LLM으로부터 피드백을 유도하여 피드백을 기반으로 솔루션을 반복적으로 개선할 수 있도록 합니다. 또한, 여러 연구에서는 훈련 중에 프로세스 기반 감독을 통합하여 LLM의 추론 체인의 일관성을 개선하고 있습니다[688, 689]. 유망한 솔루션으로, 최근 접근 방식은 복잡한 추론 작업을 코드 생성 작업으로 재구성하여 생성된 코드의 엄격한 실행을 통해 추론 과정과 결과 사이의 일관성을 보장합니다. 또한, 작업 설명의 작은 변화로 인해 모델이 다른 결과를 생성할 수 있는 유사한 입력을 가진 작업 간에 불일치가 존재할 수 있음이 밝혀졌습니다[592, 49]. 이 문제를 완화하기 위해 자체 일관성[436]은 여러 추론 경로의 앙상블을 채택하여 LLM의 디코딩 과정을 향상시킵니다.