For general reasoning tasks, as encountered in the MMLU and Chess datasets, the sampling-and-voting method is applied following Algorithm 1 during the sampling phase. Samples are extracted by matching the pattern "(X" or "(X)", where "X" corresponds to the options A, B, C, or D in MMLU task and the chessboard position in Chess task.
MMLU 및 체스 데이터 세트에서와 같이 일반적인 추론 작업의 경우, 샘플링 단계에서 Algorithm 1에 따라 sampling-and-voting 방법을 적용합니다. 샘플은 "(X" 또는 "(X)" 패턴을 일치시켜 추출되며, 여기서 "X"는 MMLU 작업의 옵션 A, B, C 또는 D 및 체스 작업의 체스판 위치에 해당합니다.
MMLU 및 체스 데이터 세트에서와 같이 일반적인 추론 작업의 경우, 샘플링 단계에서 알고리즘 1에 따라 샘플링 및 투표 방법을 적용합니다. 샘플은 "(X" 또는 "(X)" 패턴을 일치시켜 추출되며, 여기서 "X"는 MMLU 작업의 옵션 A, B, C 또는 D 및 체스 작업의 체스판 위치에 해당합니다.