These results clearly show that _not all data is equal for continual pre-training_. In fact, all the data used in efficient DACP methods (10%) is a subset of the data in DACP. Since DACP's (100%) performance is lower than ETS-DACP/ETA-DACP-ent, adding more data on top of highly similar or high entropy data actually hurts the performance. The difference in results between hard and soft sampling adds more evidence to this observation. While there is variability across tasks, on an average, adding examples from outside the top decile of metrics hurts the performance with the notable exception of ETS-DACP-com which is a combination of all three metrics. Hence, we should carefully curate the data for any domain continual pre-training.
이 결과는 _모든 데이터가 지속적인 사전 훈련에 동일하게 유효하지 않다_는 것을 명확히 보여줍니다. 사실, 효율적인 DACP 방법에서 사용된 모든 데이터(10%)는 DACP 데이터의 하위 집합입니다. DACP(100%)의 성능이 ETS-DACP/ETA-DACP-ent보다 낮기 때문에, 매우 유사하거나 높은 엔트로피 데이터를 추가하는 것은 실제로 성능을 저하시킵니다. 하드 샘플링과 소프트 샘플링 간의 결과 차이는 이 관찰에 대한 추가 증거를 제공합니다. 작업 간의 변동성이 존재하지만, 평균적으로 상위 10%의 메트릭 외부에서 예제를 추가하는 것은 성능을 저하시킵니다. 단, 모든 세 가지 메트릭을 결합한 ETS-DACP-com은 예외입니다. 따라서 우리는 도메인 지속적 사전 훈련을 위해 데이터를 신중하게 선별해야 합니다.
이러한 결과는 _모든 데이터가 지속적인 사전 학습에 동일하게 적용되는 것은 아니다_라는 것을 명확하게 보여줍니다. 실제로 효율적인 DACP 방법에 사용되는 모든 데이터(10%)는 DACP 데이터의 하위 집합입니다. DACP(100%)의 성능이 ETS-DACP/ETA-DACP-ent보다 낮기 때문에 유사도가 높거나 엔트로피가 높은 데이터 위에 더 많은 데이터를 추가하면 실제로 성능이 저하됩니다. 하드 샘플링과 소프트 샘플링 간의 결과 차이는 이러한 관찰에 대한 더 많은 증거를 제공합니다. 작업마다 차이는 있지만, 평균적으로 메트릭 상위 10분위수 밖의 예제를 추가하면 성능이 저하되는데, 세 가지 메트릭을 모두 조합한 ETS-DACP-com을 제외하고는 성능이 저하됩니다. 따라서 도메인 지속적 사전 학습을 위해서는 데이터를 신중하게 큐레이션해야 합니다.