Training with synthetic data makes evaluation decontamination harder.The use of synthetic data in model training poses significant challenges to fair evaluation. Evaluation benchmarks are often created by referring to public text sources, such as coursework websites or forums. Consequently, it is arguable that all publicly available benchmark test cases might occasionally be included in the pre-training data of LLMs (Gao et al., 2021; Hoffmann et al., 2022). The use of synthetic data exacerbates this issue rather than mitigating it. Although the community has proposed several techniques to detect such evaluation contamination, such as _min-k9 prob_(Shi et al., 2023), which checks the probabilities of \(k\) long-tail tokens, these token-level decontamination methods are inadequate whenthe model is trained with synthetic data. Synthetic data might include rephrased versions of the benchmark data (Mattern et al., 2023; Oren et al., 2023), rendering token-level decontamination ineffective. In addition to developing more advanced evaluation contamination detection techniques, we recommend that model developers invest in creating and maintaining in-house and protected evaluation benchmarks. These proprietary benchmarks should be carefully safeguarded to prevent leakage and ensure the integrity of the evaluation process.
합성 데이터로 훈련하면 평가 오염을 방지하기가 더 어려워집니다. 모델 학습에 synthetic data를 사용하면 공정한 평가에 상당한 어려움을 초래합니다. Evaluation benchmarks는 코스 웹사이트나 포럼과 같은 공개 텍스트 소스를 참조하여 만들어지는 경우가 많습니다. 따라서 공개적으로 사용 가능한 모든 벤치마크 테스트 사례가 LLM의 사전 학습 데이터에 포함될 수 있다고 주장할 수 있습니다(Gao et al., 2021; Hoffmann et al., 2022). Synthetic data를 사용하면 이러한 문제가 완화되기보다는 오히려 악화됩니다. 연구 커뮤니티에서는 이러한 평가 오염을 감지하기 위해 \(k\) 롱테일 토큰의 확률을 확인하는 _min-k9 prob_(Shi et al., 2023) 등 여러 가지 기술을 제안했지만, 이러한 토큰 수준의 오염 제거 방법은 모델이 synthetic data로 학습된 경우에는 적절하지 않습니다. Synthetic data에는 벤치마크 데이터의 고안된 버전이 포함될 수 있으므로(Mattern et al., 2023; Oren et al., 2023), 토큰 수준의 오염 제거가 효과적이지 않을 수 있습니다. 고급 평가 오염 감지 기술을 개발하는 것 외에도 모델 개발자는 사내 및 보호 evaluation benchmarks를 만들고 유지하는 데 투자할 것을 권장합니다. 이러한 독점 벤치마크는 유출을 방지하고 평가 프로세스의 무결성을 보장하기 위해 신중하게 보호되어야 합니다.
합성 데이터로 훈련하면 평가 오염을 방지하기가 더 어려워집니다. 모델 학습에 합성 데이터를 사용하면 공정한 평가에 상당한 어려움을 초래합니다. 평가 벤치마크는 코스 웹사이트나 포럼과 같은 공개 텍스트 소스를 참조하여 만들어지는 경우가 많습니다. 따라서 공개적으로 사용 가능한 모든 벤치마크 테스트 사례가 LLM의 사전 학습 데이터에 포함될 수 있다고 주장할 수 있습니다(Gao et al., 2021; Hoffmann et al., 2022). 합성 데이터를 사용하면 이러한 문제가 완화되기보다는 오히려 악화됩니다. 연구 커뮤니티에서는 이러한 평가 오염을 감지하기 위해 \(k\) 롱테일 토큰의 확률을 확인하는 _min-k9 prob_(Shi et al., 2023) 등 여러 가지 기술을 제안했지만, 이러한 토큰 수준의 오염 제거 방법은 모델이 합성 데이터로 학습된 경우에는 적절하지 않습니다. 합성 데이터에는 벤치마크 데이터의 고안된 버전이 포함될 수 있으므로(Mattern et al., 2023; Oren et al., 2023), 토큰 수준의 오염 제거가 효과적이지 않을 수 있습니다. 고급 평가 오염 감지 기술을 개발하는 것 외에도 모델 개발자는 사내 및 보호 평가 벤치마크를 만들고 유지하는 데 투자할 것을 권장합니다. 이러한 독점 벤치마크는 유출을 방지하고 평가 프로세스의 무결성을 보장하기 위해 신중하게 보호되어야 합니다.