On dynamic data curating.Our study presents a pipeline to decide on a group of fixed mixture proportions for pretraining. More sophisticated data curating can include dynamic proportions (Albalak et al., 2023) and even a curriculum that changes data domains (Chen et al., 2024). The application of our data mixing laws in continual pretraining (Sec. 5) implies the prospect of extending our findings to these settings. On top of this, we believe that it is promising to incorporate further analysis to pursue a dynamic data mixing law.
동적 데이터 큐레이팅에 대하여. 우리의 연구는 사전 훈련을 위한 고정된 혼합 비율 그룹을 결정하는 파이프라인을 제시합니다. 더 정교한 데이터 큐레이팅은 동적 비율(Albalak et al., 2023) 및 데이터 도메인을 변경하는 커리큘럼(Chen et al., 2024)을 포함할 수 있습니다. 지속적인 사전 훈련(Sec. 5)에서 우리의 데이터 혼합 법칙을 적용하는 것은 이러한 설정으로 우리의 발견을 확장할 가능성을 시사합니다. 이와 더불어, 동적 데이터 혼합 법칙을 추구하기 위해 추가 분석을 통합하는 것이 유망하다고 믿습니다.
동적 데이터 큐레이션에 관해서, 우리의 연구는 사전 학습을 위해 고정된 혼합 비율 그룹을 결정하는 파이프라인을 제시합니다. 보다 정교한 데이터 큐레이션에는 동적 비율(Albalak et al., 2023)과 데이터 도메인을 변경하는 커리큘럼(Chen et al., 2024)이 포함될 수 있습니다. 지속적인 사전 학습(Sec. 5)에서 데이터 혼합 법칙을 적용하면 이러한 설정으로 연구 결과를 확장할 수 있는 전망이 열립니다. 이 외에도 동적 데이터 믹싱 법칙을 추구하기 위한 추가 분석을 통합하는 것이 유망하다고 생각합니다.