On the clarification of domains.The concept of domains is not well-defined. In this paper, similar to related studies (Xie et al., 2024; Chen et al., 2024; Albalak et al., 2023; Fan et al., 2024), we directly adopt the predefined domains in the open-source training data. Nevertheless, we suppose that more operationally defined training domains, e.g., clustering (Gururangan et al., 2023; Shao et al., 2024), could further benefit the prediction accuracy of data mixing laws and the performance of outcome models. For the validation domains, our implicit domain aggregation method obviates the necessity of explicitly aligning validation data with training domains. This requirement is often encountered, given that validation data typically comprises trustworthy datasets rather than mere compilations from training domains. However, we acknowledge that implicit domain aggregation may be less interpretable compared to the explicit approach and may raise concerns regarding its accuracy, as elaborated subsequently.
도메인 명확화에 대하여. 도메인의 개념은 명확하게 정의되어 있지 않습니다. 이 논문에서는 관련 연구들(Xie et al., 2024; Chen et al., 2024; Albalak et al., 2023; Fan et al., 2024)과 유사하게, 오픈 소스 학습 데이터에서 미리 정의된 도메인을 직접 채택합니다. 그럼에도 불구하고, 클러스터링(Gururangan et al., 2023; Shao et al., 2024)과 같은 더 운영적으로 정의된 학습 도메인이 데이터 혼합 법칙의 예측 정확도와 결과 모델의 성능을 더욱 향상시킬 수 있다고 가정합니다. 검증 도메인의 경우, 우리의 암묵적 도메인 집계 방법은 검증 데이터를 학습 도메인과 명시적으로 일치시킬 필요성을 없애줍니다. 이는 검증 데이터가 일반적으로 학습 도메인에서 단순히 수집된 것이 아니라 신뢰할 수 있는 데이터셋으로 구성되어 있기 때문에 자주 발생하는 요구사항입니다. 그러나 암묵적 도메인 집계는 명시적 접근법에 비해 해석 가능성이 떨어질 수 있으며, 그 정확성에 대한 우려를 제기할 수 있음을 인정합니다. 이는 이후에 자세히 설명됩니다.
도메인의 명확화. 도메인의 개념이 잘 정의되어 있지 않습니다. 이 논문에서는 관련 연구(Xie et al., 2024; Chen et al., 2024; Albalak et al., 2023; Fan et al., 2024)와 유사하게 오픈 소스 학습 데이터에 사전 정의된 도메인을 직접 채택합니다. 그럼에도 불구하고, 클러스터링(Gururangan et al., 2023; Shao et al., 2024)과 같이 보다 운영적으로 정의된 학습 도메인이 데이터 혼합 법칙의 예측 정확도와 결과 모델의 성능에 더 도움이 될 수 있다고 가정합니다. 유효성 검사 도메인의 경우, 우리의 암시적 도메인 집계 방법은 유효성 검사 데이터를 학습 도메인과 명시적으로 정렬할 필요가 없습니다. 이 요구 사항은 유효성 검사 데이터가 일반적으로 학습 도메인의 단순한 컴파일레이션이 아니라 신뢰할 수 있는 데이터 세트로 구성된다는 점을 고려할 때 자주 발생합니다. 그러나 암시적 도메인 집계는 명시적 접근 방식에 비해 해석 가능성이 떨어질 수 있으며, 이후 설명하듯이 정확성에 대한 우려를 불러일으킬 수 있다는 점을 인정합니다.