We proposed ETS-DACP and ETA-DACP to enhance vanilla DACP by refining the pre-training data through active selection of relevant samples. We can select the data in two ways:Hard Sampling:We rank the samples in the domain corpus by the measure of choice. We select top-k samples from the domain corpus based on the metric(s), where \(k\) is the number of samples needed to hit the pre-decided token budget for continual pre-training.
관련 샘플의 능동적인 선택을 통해 사전 학습 데이터를 개선하여 바닐라 DACP를 향상시키기 위해 ETS-DACP와 ETA-DACP를 제안했습니다. 두 가지 방법으로 데이터를 선택할 수 있습니다:Hard Sampling: 도메인 코퍼스의 샘플을 선택한 척도에 따라 순위를 매깁니다. 메트릭에 따라 도메인 코퍼스에서 상위 k개의 샘플을 선택합니다. 여기서 \(k\)는 지속적인 pre-training을 위해 미리 결정된 토큰 예산에 도달하는 데 필요한 샘플 수입니다.
관련 샘플의 능동적인 선택을 통해 사전 학습 데이터를 개선하여 바닐라 DACP를 향상시키기 위해 ETS-DACP와 ETA-DACP를 제안했습니다. 두 가지 방법으로 데이터를 선택할 수 있습니다:하드 샘플링: 도메인 코퍼스의 샘플을 선택한 척도에 따라 순위를 매깁니다. 메트릭에 따라 도메인 코퍼스에서 상위 k개의 샘플을 선택합니다. 여기서 \(k\)는 지속적인 사전 학습을 위해 미리 결정된 토큰 예산에 도달하는 데 필요한 샘플 수입니다.