Step-wise sampling-and-voting initially prompts the LLM to decompose the task into multiple steps. It then proceeds with multi-round iterations to produce the final result. In each round, the process begins by selecting a current unprocessed step and using sampling-and-voting to determine the result of that step. Subsequently, it uses the result to update the task. This iterative process is repeated multiple times until the last step is processed. To evaluate the performance of step-wise sampling-and-voting, we fix \(S=8\) and \(K=4\), and tune \(I\) from \(100\) to \(400\). Figure 7 (middle) shows that compared to simple sampling-and-voting, step-wise sampling-and-voting yields greater improvements. e.g., we see \(15\%\)-\(42\%\) gains, which increase with inherent difficulty.
단계별 sampling-and-voting은 처음에 LLM이 작업을 여러 단계로 분해하도록 요청합니다. 그런 다음 다중 라운드 반복을 진행하여 최종 결과를 생성합니다. 각 라운드에서 현재 처리되지 않은 단계를 선택하고 sampling-and-voting을 사용하여 해당 단계의 결과를 결정하는 것으로 프로세스가 시작됩니다. 그런 다음 결과를 사용하여 작업을 업데이트합니다. 이 반복 프로세스는 마지막 단계가 처리될 때까지 여러 번 반복됩니다. 단계별 sampling-and-voting의 성능을 평가하기 위해 \(S=8\), \(K=4\)를 고정하고 \(I\)를 \(100\)에서 \(400\)까지 조정합니다. 그림 7(가운데)을 보면 단계별 sampling-and-voting이 단순한 sampling-and-voting에 비해 더 큰 개선 효과를 가져온다는 것을 알 수 있습니다. 예를 들어, 본질적인 난이도에 따라 \(15\%\)-\(42\%\)의 이득을 볼 수 있습니다.
단계별 샘플링 및 투표는 처음에 LLM이 작업을 여러 단계로 분해하도록 요청합니다. 그런 다음 다중 라운드 반복을 진행하여 최종 결과를 생성합니다. 각 라운드에서 현재 처리되지 않은 단계를 선택하고 샘플링 및 투표를 사용하여 해당 단계의 결과를 결정하는 것으로 프로세스가 시작됩니다. 그런 다음 결과를 사용하여 작업을 업데이트합니다. 이 반복 프로세스는 마지막 단계가 처리될 때까지 여러 번 반복됩니다. 단계별 샘플링 및 투표의 성능을 평가하기 위해 \(S=8\), \(K=4\)를 고정하고 \(I\)를 \(100\)에서 \(400\)까지 조정합니다. 그림 7(가운데)을 보면 단계별 샘플링 및 투표가 단순한 샘플링 및 투표에 비해 더 큰 개선 효과를 가져온다는 것을 알 수 있습니다. 예를 들어, 본질적인 난이도에 따라 \(15\%\)-\(42\%\)의 이득을 볼 수 있습니다.