\begin{table}
\begin{tabular}{l|c|c|c|c|c|c} \hline \hline Dataset & \(L_{\text{test-regen}}\) & \(L_{\text{test-ref}}\) & \(L_{\text{train}}\) & \(L_{\text{train-regen}}\) & \(\Delta_{1}\) & \(\Delta_{2}\) \\ \hline GSM8K & 0.52 & 0.50 & 0.11 & 0.33 & 0.02 & 0.19 \\ MATH & 0.59 & 0.58 & 0.23 & 0.39 & 0.01 & 0.20 \\ \hline \hline \end{tabular}
\end{table}
Table 6: To validate benchmark data leakage during data generation, we compare LM loss on: 1) a training subset, which is a small subset with 256 samples from all synthetic data; 2) a regenerated training subset, where we maintain the original questions from the training subset and use GPT-4 Turbo to rewrite answers; 3) a regenerated test set, where we keep the questions from the evaluation metrics unchanged and use GPT-4 Turbo to rewrite answers; 4) a reference test set, where we use the test set as seed to generate new questions and answers via GPT-4 Turbo. Referring to Skywork, we also report two key metrics: \(\Delta_{1}=L_{\text{test-regen}}-L_{\text{test-ref}},\Delta_{2}=L_{\text{test- regen}}-L_{\text{train-regen}}\), As \(\Delta_{1}\) is close to 0 and \(\Delta_{2}\) is significantly greater than 0 in two benchmarks, we believe that there is no leakage during the process of data synthesis.
\begin{table}
\begin{tabular}{l|c|c|c|c|c|c} \hline \hline Dataset & \(L_{\text{test-regen}}\) & \(L_{\text{test-ref}}\) & \(L_{\text{train}}\) & \(L_{\text{train-regen}}\) & \(\Delta_{1}\) & \(\Delta_{2}\) \\ \hline GSM8K & 0.52 & 0.50 & 0.11 & 0.33 & 0.02 & 0.19 \\ MATH & 0.59 & 0.58 & 0.23 & 0.39 & 0.01 & 0.20 \\ \hline \hline \end{tabular}
\end{table}
표 6: 데이터 생성 중 벤치마크 데이터 유출을 검증하기 위해 다음에 대한 LM loss를 비교합니다: 1) 모든 합성 데이터에서 256개의 샘플로 구성된 작은 하위 집합인 훈련 하위 집합; 2) 재생성된 훈련 하위 집합, 여기서 훈련 하위 집합의 원래 질문을 유지하고 GPT-4 Turbo를 사용하여 답변을 다시 작성합니다; 3) 재생성된 테스트 세트, 여기서 평가 메트릭의 질문은 변경하지 않고 GPT-4 Turbo를 사용하여 답변을 다시 작성합니다; 4) 참조 테스트 세트, 여기서 테스트 세트를 시드로 사용하여 GPT-4 Turbo를 통해 새로운 질문과 답변을 생성합니다. Skywork를 참조하여 두 가지 주요 메트릭을 보고합니다: \(\Delta_{1}=L_{\text{test-regen}}-L_{\text{test-ref}},\Delta_{2}=L_{\text{test- regen}}-L_{\text{train-regen}}\), 두 벤치마크에서 \(\Delta_{1}\)가 0에 가깝고 \(\Delta_{2}\)가 0보다 현저히 크므로 데이터 합성 과정에서 유출이 없다고 생각합니다.
\begin{table}
\begin{tabular}{l|c|c|c|c|c|c} \hline \hline 데이터 집합 & \(L_{\text{test-regen}}\) & \(L_{\text{test-ref}}\) & \(L_{\text{train}}\) & \(L_{\text{train-regen}}\) & \(\Delta_{1}\) & \(\Delta_{2}\) \\ \hline GSM8K & 0.52 & 0.50 & 0.11 & 0.33 & 0.02 & 0.19 \\ MATH & 0.59 & 0.58 & 0.23 & 0.39 & 0.01 & 0.20 \\ \hline \hline \end{tabular}
\end{table}
표 6: 데이터 생성 중 벤치마크 데이터 유출을 검증하기 위해 다음에 대한 LM 손실을 비교합니다: 1) 모든 합성 데이터에서 256개의 샘플로 구성된 작은 하위 집합인 훈련 하위 집합; 2) 재생성된 훈련 하위 집합, 여기서 훈련 하위 집합의 원래 질문을 유지하고 GPT-4 Turbo를 사용하여 답변을 다시 작성합니다; 3) 재생성된 테스트 세트, 여기서 평가 메트릭의 질문은 변경하지 않고 GPT-4 Turbo를 사용하여 답변을 다시 작성합니다; 4) 참조 테스트 세트, 여기서 테스트 세트를 시드로 사용하여 GPT-4 Turbo를 통해 새로운 질문과 답변을 생성합니다. Skywork를 참조하여 두 가지 주요 메트릭을 보고합니다: \(\Delta_{1}=L_{\text{test-regen}}-L_{\text{test-ref}},\Delta_{2}=L_{\text{test- regen}}-L_{\text{train-regen}}\), 두 벤치마크에서 \(\Delta_{1}\)가 0에 가깝고 \(\Delta_{2}\)가 0보다 현저히 크므로 데이터 합성 과정에서 유출이 없다고 생각합니다.