In Figures 1 and 2, we can separate the datasets into two groups: First, on TriviaQA, HellaSwag, RACE, WinoGrande, NLPCC-KBQA, ClozeT, CLUEWSC, and C3, the performance improves smoothly with decreased pre-training loss from the very beginning. Second, on MMLU, C-Eval, GSM8K, and GSM8K-Chinese, the performance remains flat when the loss is higher than a certain threshold. Once the pre-training loss is lower than this threshold, the performance starts to improve.
그림 1과 2에서 데이터 세트를 두 그룹으로 분리할 수 있습니다. 첫째, TriviaQA, HellaSwag, RACE, WinoGrande, NLPCC-KBQA, ClozeT, CLUEWSC 및 C3의 경우, 처음부터 pre-training loss가 감소함에 따라 성능이 매끄럽게 향상됩니다. 둘째, MMLU, C-Eval, GSM8K 및 GSM8K-Chinese의 경우 loss가 특정 임계값보다 높으면 성능이 일정하게 유지됩니다. pre-training loss가 이 임계값보다 낮아지면 성능이 향상되기 시작합니다.
그림 1과 2에서 데이터 세트를 두 그룹으로 분리할 수 있습니다. 첫째, TriviaQA, HellaSwag, RACE, WinoGrande, NLPCC-KBQA, ClozeT, CLUEWSC 및 C3의 경우, 처음부터 사전 학습 손실이 감소함에 따라 성능이 매끄럽게 향상됩니다. 둘째, MMLU, C-Eval, GSM8K 및 GSM8K-Chinese의 경우 손실이 특정 임계값보다 높으면 성능이 일정하게 유지됩니다. 사전 학습 손실이 이 임계값보다 낮아지면 성능이 향상되기 시작합니다.