* Arithmetic Reasoning. Similar to Wang et al. (2023b); Fu et al. (2023); Du et al. (2023), we select the GSM8K (Cobbe et al., 2021a) as one of the test sets. Additionally, we select the more challenging MATH dataset (Hendrycks et al., 2021b), which is used by Wu et al. (2023). * General Reasoning. Similar to Du et al. (2023); Jiang et al. (2023), we select the MMLU (Hendrycks et al., 2021a). Additionally, we select the dataset from the chess state tracking task (Chess) 1, which is used by Du et al. (2023); Zhang et al. (2023). Footnote 1: Chess State Tracking
* Code Generation. Similar to Liu et al. (2023), we select the HumanEval (Chen et al., 2021). To implement our method, we compute the BLEU score (Papineni et al., 2002) among all pairs of generated candidate answers. The answer with the highest cumulative BLEU score is then selected as the final output.
* Arithmetic Reasoning. Wang et al. (2023b); Fu et al. (2023); Du et al. (2023)과 유사하게, 우리는 테스트 세트 중 하나로 GSM8K(Cobbe et al., 2021a)를 선택합니다. 또한 Wu et al. (2023)에서 사용하는 더 어려운 MATH 데이터 세트(Hendrycks et al., 2021b)를 선택합니다. * General Reasoning. Du et al. (2023); Jiang et al. (2023)과 유사하게, 우리는 MMLU(Hendrycks et al., 2021a)를 선택합니다. 또한 Du et al. (2023); Zhang et al. (2023)에서 사용하는 체스 상태 추적 작업(Chess) 1의 데이터 세트를 선택합니다. 각주 1: Chess State Tracking
* Code Generation. Liu et al. (2023)과 유사하게, 우리는 HumanEval(Chen et al., 2021)을 선택합니다. 방법을 구현하기 위해 모든 생성된 후보 답안 쌍 간에 BLEU 점수(Papineni et al., 2002)를 계산합니다. 그런 다음 누적 BLEU 점수가 가장 높은 답안을 최종 출력으로 선택합니다.
* 산술 추론. Wang et al.(2023b); Fu et al.(2023); Du et al.(2023)과 유사하게, 우리는 테스트 세트 중 하나로 GSM8K(Cobbe et al., 2021a)를 선택합니다. 또한 Wu et al.(2023)에서 사용하는 더 어려운 MATH 데이터 세트(Hendrycks et al., 2021b)를 선택합니다. * 일반 추론. Du et al.(2023); Jiang et al.(2023)과 유사하게, 우리는 MMLU(Hendrycks et al., 2021a)를 선택합니다. 또한 Du et al.(2023); Zhang et al.(2023)에서 사용하는 체스 상태 추적 작업(체스) 1의 데이터 세트를 선택합니다. 각주 1: 체스 상태 추적
* 코드 생성. Liu et al.(2023)과 유사하게, 우리는 HumanEval(Chen et al., 2021)을 선택합니다. 방법을 구현하기 위해 모든 생성된 후보 답안 쌍 간에 BLEU 점수(Papineni et al., 2002)를 계산합니다. 그런 다음 누적 BLEU 점수가 가장 높은 답안을 최종 출력으로 선택합니다.