FormulationWe first formalize the problem. We are given an unlabeled domain pre-training corpus, \(\mathcal{U}\) represented by green region in Figure 1. Next, we can take two scenarios: absence or presence of an unlabeled task corpus. The first scenario of the presence of a task corpus, which can be a single or group of tasks, \(\mathcal{T}\) is depicted as the red region in Figure 1. Typically, the task corpus is a subset of the domain corpus, \(\mathcal{T}\subset\mathcal{U}\), with \(|\mathcal{U}|>>|\mathcal{T}|\). The goal of data selection is to select a subset, \(\mathcal{D}\subset\mathcal{U}\), that is most helpful for pre-training the LLM model. We also assume that the selected domain corpus subset is much larger than the task corpus, \(|\mathcal{D}|>>|\mathcal{T}|\), as is a typical case.
Formulation 먼저 문제를 공식화합니다. 우리는 그림 1의 녹색 영역으로 표시되는 레이블이 없는 도메인 pre-training 코퍼스, \(\mathcal{U}\)가 주어집니다. 다음으로 레이블이 없는 태스크 코퍼스의 유무, 즉 두 가지 시나리오를 고려할 수 있습니다. 태스크 코퍼스가 존재하는 경우, 즉 하나 또는 그룹의 태스크인 \(\mathcal{T}\)는 그림 1의 빨간색 영역으로 표시됩니다. 일반적으로 태스크 코퍼스는 도메인 코퍼스의 하위 집합인 \(\mathcal{T}\subset\mathcal{U}\), \(|\mathcal{U}|>>|\mathcal{T}|\)입니다. 데이터 선택의 목표는 LLM 모델을 pre-training하는 데 가장 도움이 되는 하위 집합인 \(\mathcal{D}\subset\mathcal{U}\), 즉, 선택하는 것입니다. 또한 일반적인 경우와 같이 선택된 도메인 코퍼스 하위 집합이 태스크 코퍼스보다 훨씬 더 크다는 가정, \(|\mathcal{D}|>>|\mathcal{T}|\), 을 가정합니다.
formulation먼저 문제를 공식화합니다. 우리는 그림 1의 녹색 영역으로 표시되는 레이블이 없는 도메인 사전 학습 코퍼스, \(\mathcal{U}\)가 주어집니다. 다음으로 레이블이 없는 태스크 코퍼스의 유무, 즉 두 가지 시나리오를 고려할 수 있습니다. 태스크 코퍼스가 존재하는 경우, 즉 하나 또는 그룹의 태스크인 \(\mathcal{T}\)는 그림 1의 빨간색 영역으로 표시됩니다. 일반적으로 태스크 코퍼스는 도메인 코퍼스의 하위 집합인 \(\mathcal{T}\subset\mathcal{U}\), \(|\mathcal{U}|>>|\mathcal{T}|\)입니다. 데이터 선택의 목표는 LLM 모델을 사전 학습하는 데 가장 도움이 되는 하위 집합인 \(\mathcal{D}\subset\mathcal{U}\), 즉, 선택하는 것입니다. 또한 일반적인 경우와 같이 선택된 도메인 코퍼스 하위 집합이 태스크 코퍼스보다 훨씬 더 크다는 가정, \(|\mathcal{D}|>>|\mathcal{T}|\), 을 가정합니다.