Furthermore, we propose efficient domain-adaptive continual pre-training methods, ETS-DACP and ETA-DACP to enhance the effectiveness of the continual pre-training. By being selective with the training data curation, our methods refine the continual pre-training, yielding even better results with just 10% of the data and cost of vanilla continual pre-training. ETA-DACP with data selection based on task-agnostic measures like entropy works almost at par with the task-aware data selection strategy. This finding can be used to build data selection for continual pre-training even in the absence of task data. We also observe no degradation in performance on open-domain standard tasks, implying that domain-adaptive continual pre-training does not hurt open-domain capabilities.
게다가, 우리는 지속적인 사전 훈련의 효과를 높이기 위해 효율적인 도메인 적응 지속 사전 훈련 방법인 ETS-DACP와 ETA-DACP를 제안합니다. 훈련 데이터 큐레이션을 선택적으로 함으로써, 우리의 방법은 지속적인 사전 훈련을 정제하여, 일반적인 지속 사전 훈련의 데이터와 비용의 10%만으로도 더 나은 결과를 도출합니다. 엔트로피와 같은 작업 비특이적 측정에 기반한 데이터 선택을 사용하는 ETA-DACP는 작업 인식 데이터 선택 전략과 거의 동등하게 작동합니다. 이 발견은 작업 데이터가 없는 경우에도 지속적인 사전 훈련을 위한 데이터 선택을 구축하는 데 사용할 수 있습니다. 또한, 우리는 오픈 도메인 표준 작업에서 성능 저하가 없음을 관찰했으며, 이는 도메인 적응 지속 사전 훈련이 오픈 도메인 기능을 해치지 않음을 의미합니다.
또한, 지속적인 사전 학습의 효율성을 높이기 위해 효율적인 도메인 적응 지속적 사전 학습 방법인 ETS-DACP와 ETA-DACP를 제안합니다. 학습 데이터 큐레이션을 선택적으로 적용함으로써 기존 지속적 사전 학습의 데이터와 비용의 10%만으로도 더 나은 결과를 얻을 수 있습니다. 엔트로피와 같은 작업에 구애받지 않는 측정을 기반으로 데이터를 선택하는 ETA-DACP는 작업 인식 데이터 선택 전략과 거의 동등한 수준으로 작동합니다. 이 결과는 작업 데이터가 없는 경우에도 지속적 사전 학습을 위한 데이터 선택을 구축하는 데 사용할 수 있습니다. 또한 오픈 도메인 표준 작업에서 성능 저하가 없어 도메인 적응 지속적 사전 학습이 오픈 도메인 기능에 해를 끼치지 않는다는 것을 관찰했습니다.