Data selection.Data selection in continual pre-training plays a critical role in choosing the most valuable data samples for the training process. Various distributed and linguistic features independent of specific domains or tasks have been shown to be beneficial for data selection and the organization of learning curricula [21; 28]. In the context of LLMs, there is limited understanding of how to curate data for pre-training, let alone for continual pre-training.
데이터 선택. 지속적인 사전 학습에서 데이터 선택은 학습 프로세스에 가장 가치 있는 데이터 샘플을 선택하는 데 중요한 역할을 합니다. 특정 도메인이나 작업과 무관한 다양한 분산 및 언어적 특징이 데이터 선택과 학습 커리큘럼 구성에 유용한 것으로 나타났습니다[21, 28]. LLMs의 맥락에서 pre-training은 물론 지속적인 pre-training을 위해 데이터를 큐레이션하는 방법에 대한 이해는 제한적입니다.
데이터 선택.지속적인 사전 학습에서 데이터 선택은 학습 프로세스에 가장 가치 있는 데이터 샘플을 선택하는 데 중요한 역할을 합니다. 특정 도메인이나 작업과 무관한 다양한 분산 및 언어적 특징이 데이터 선택과 학습 커리큘럼 구성에 유용한 것으로 나타났습니다[21, 28]. LLM의 맥락에서 사전 학습은 물론 지속적인 사전 학습을 위해 데이터를 큐레이션하는 방법에 대한 이해는 제한적입니다.