\(\bullet\)_Sampling-based methods._ LLMs are known to suffer from instability during inference, which can lead to unfaithfulness in the generated reasoning steps. To address this issue, some work proposes to sample multiple reasoning paths instead of using greedy decoding. As a representative solution, self-consistency [436] first generates several reasoning paths and then takes an ensemble over the corresponding answers, selecting the most consistent one through majority voting. However, such a method can still lead to wrong answers when most of the reasoning paths are misled. Considering this, the authors in [433] only vote on the \(k\) most complex reasoning paths based on their observation that reasoning paths with higher complexity (_e.g._, more reasoning steps) usually have better performance. Furthermore, MCR [510] proposes referring to the steps from other reasoning paths when generating the next step, and performs reasoning across multiple reasoning paths to generate the final answer.
\(\bullet\)_샘플링 기반 방법._ LLM은 추론 중 불안정성을 겪는 것으로 알려져 있으며, 이로 인해 생성된 추론 단계에 불충실성이 발생할 수 있습니다. 이 문제를 해결하기 위해 일부 연구에서는 greedy decoding을 사용하는 대신 여러 추론 경로를 샘플링할 것을 제안합니다. 대표적인 솔루션으로, self-consistency[436]는 먼저 여러 추론 경로를 생성한 다음 해당 답안에 대해 앙상블을 수행하여 과반수 투표를 통해 가장 일관성이 높은 답안을 선택합니다. 그러나 이러한 방법은 대부분의 추론 경로가 잘못된 경우 여전히 오답으로 이어질 수 있습니다. 이를 고려하여 [433]의 저자들은 일반적으로 복잡도가 높은 추론 경로(_예: 추론 단계가 더 많음)가 더 나은 성능을 보인다는 관찰을 바탕으로 가장 복잡한 추론 경로 \(k\)에 대해서만 투표하도록 제안했습니다. 또한, MCR[510]은 다음 단계를 생성할 때 다른 추론 경로의 단계를 참조하고 여러 추론 경로에 걸쳐 추론을 수행하여 최종 답을 생성할 것을 제안합니다.
\(\bullet\)_샘플링 기반 방법._ LLM은 추론 중 불안정성을 겪는 것으로 알려져 있으며, 이로 인해 생성된 추론 단계에 불충실성이 발생할 수 있습니다. 이 문제를 해결하기 위해 일부 연구에서는 욕심스러운 디코딩을 사용하는 대신 여러 추론 경로를 샘플링할 것을 제안합니다. 대표적인 솔루션으로, 자기 일관성[436]은 먼저 여러 추론 경로를 생성한 다음 해당 답안에 대해 앙상블을 수행하여 과반수 투표를 통해 가장 일관성이 높은 답안을 선택합니다. 그러나 이러한 방법은 대부분의 추론 경로가 잘못된 경우 여전히 오답으로 이어질 수 있습니다. 이를 고려하여 [433]의 저자들은 일반적으로 복잡도가 높은 추론 경로(_예: 추론 단계가 더 많음)가 더 나은 성능을 보인다는 관찰을 바탕으로 가장 복잡한 추론 경로 \(k\)에 대해서만 투표하도록 제안했습니다. 또한, MCR [510]은 다음 단계를 생성할 때 다른 추론 경로의 단계를 참조하고 여러 추론 경로에 걸쳐 추론을 수행하여 최종 답을 생성할 것을 제안합니다.