Figure 3: Quantitative predictability of domain losses on three domain mixtures, Github, Books3, and Pile-CC. We train on the mixture of these three domains and validate the outcome models on them as well. The surfaces show the predicted losses on (A) Github; (B) Books3; (C) Pile-CC; and (D) the overall validation set mixed with the three domains. \(\times\): validation samples. \(\star\): the predicted minimum loss on the overall validation set.
그림 3: 세 가지 도메인 혼합물인 Github, Books3 및 Pile-CC에서 도메인 Loss의 정량적 예측 가능성. 이 세 가지 도메인의 혼합물에 대해 학습하고 그 결과 모델도 이에 대해 검증합니다. 표면은 (A) Github, (B) Books3, (C) Pile-CC 및 (D) 세 가지 도메인이 혼합된 전체 유효성 검사 세트에서 예측된 Loss를 보여줍니다. \(\times\): 유효성 검사 샘플. \(\star\): 전체 유효성 검사 세트에서 예측된 최소 Loss.
그림 3: 세 가지 도메인 혼합물인 Github, Books3 및 Pile-CC에서 도메인 손실의 정량적 예측 가능성. 이 세 가지 도메인의 혼합물에 대해 학습하고 그 결과 모델도 이에 대해 검증합니다. 표면은 (A) Github, (B) Books3, (C) Pile-CC 및 (D) 세 가지 도메인이 혼합된 전체 유효성 검사 세트에서 예측된 손실을 보여줍니다. \times\): 유효성 검사 샘플. \별\): 전체 유효성 검사 세트에서 예측된 최소 손실.