Fig. 5 shows our experiments where we train language models on the 5 coarse-grained domains of Pile7 and evaluate a validation set mixed with these 5 domains. We compare the errors obtained by implicit domain aggregation with different numbers of implicit domains to those obtained by explicit domain aggregation. We find that applying implicit domain aggregation and setting the number of implicit domains no smaller than the actual one (5 in the experimented case) results in lower errors than explicit domain aggregation. Moreover, the error remains low as we set the number of implicit domains much larger. This verifies the prediction accuracy of our implicit domain aggregation strategy for data mixing law and the number of implicit domains \(K\) can be a large number without careful tuning8.
그림 5는 Pile7의 5개의 대략적인 도메인에 대해 language models를 학습하고 이 5개의 도메인이 혼합된 유효성 검사 집합을 평가하는 실험을 보여줍니다. 암시적 도메인 집계를 사용하여 얻은 오류를 다양한 수의 암시적 도메인을 사용하여 얻은 오류와 명시적 도메인 집계를 사용하여 얻은 오류를 비교합니다. 실험 결과, 암시적 도메인 집계를 적용하고 암시적 도메인의 수를 실제 도메인 수(실험한 경우 5개)보다 작게 설정하면 명시적 도메인 집계보다 낮은 오류를 얻을 수 있습니다. 또한 암시적 도메인의 수를 훨씬 더 크게 설정해도 오류는 낮게 유지됩니다. 이는 데이터 믹싱 법칙에 대한 암시적 도메인 집계 전략의 예측 정확도를 검증하며, 암시적 도메인 수 \(K\)는 신중한 tuning 없이도 큰 수가 될 수 있습니다8.
그림 5는 Pile7의 5개의 대략적인 도메인에 대해 언어 모델을 학습하고 이 5개의 도메인이 혼합된 유효성 검사 집합을 평가하는 실험을 보여줍니다. 암시적 도메인 집계를 사용하여 얻은 오류를 다양한 수의 암시적 도메인을 사용하여 얻은 오류와 명시적 도메인 집계를 사용하여 얻은 오류를 비교합니다. 실험 결과, 암시적 도메인 집계를 적용하고 암시적 도메인의 수를 실제 도메인 수(실험한 경우 5개)보다 작게 설정하면 명시적 도메인 집계보다 낮은 오류를 얻을 수 있습니다. 또한 암시적 도메인의 수를 훨씬 더 크게 설정해도 오류는 낮게 유지됩니다. 이는 데이터 믹싱 법칙에 대한 암시적 도메인 집계 전략의 예측 정확도를 검증하며, 암시적 도메인 수 \(K\)는 신중한 튜닝 없이도 큰 수가 될 수 있습니다8.