To start the analysis, we select two datasets with increasing difficulty, i.e., GSM8K and MATH, to calculate the relative performance gain. The relative performance gain \(\eta\) is given by: \(\eta=\frac{P_{\text{m}}-P_{\text{s}}}{P_{\text{s}}}\) where \(P_{\text{m}}\) and \(P_{\text{s}}\) are the performances (accuracy) with our method and a single LLM query, respectively. The results are shown in Table 5.
분석을 시작하기 위해, 우리는 난이도가 증가하는 두 개의 데이터셋, 즉 GSM8K와 MATH를 선택하여 상대 성능 향상을 계산합니다. 상대 성능 향상 \(\eta\)는 다음과 같이 주어집니다: \(\eta=\frac{P_{\text{m}}-P_{\text{s}}}{P_{\text{s}}}\) 여기서 \(P_{\text{m}}\)과 \(P_{\text{s}}\)는 각각 우리의 방법과 단일 LLM 쿼리로 얻은 성능(정확도)입니다. 결과는 Table 5에 나와 있습니다.
분석을 시작하기 위해 점점 더 어려워지는 두 개의 데이터 세트, 즉 GSM8K와 MATH를 선택하여 상대적 성능 이득을 계산합니다. 상대적 성능 이득(\(\eta\))은 다음과 같이 주어집니다: \(\eta=\frac{P_{\text{m}}-P_{\text{s}}}{P_{\text{s}}}\) 여기서 \(P_{\text{m}}\)와 \(P_{\text{s}}\)는 각각 우리 방법과 단일 LLM 쿼리로 얻은 성능(정확도)입니다. 결과는 표 5에 나와 있습니다.