Take MMLU as an example of the second group, when the pre-training loss is higher than 2.2, the accuracy remains around 25%. Since each question in MMLU has four options, this means the model prediction is no better than random guessing. However, when the pre-training loss drops below 2.2, the accuracy increases as the loss decreases, similar to the trend observed in the first group of tasks. The performance trends of C-Eval, GSM8K, and GSM8K-Chinese follow a similar pattern. Despite differences in languages, tasks, prompting types, and answer forms among the four datasets are different, the thresholds for performance improvement are surprisingly all around 2.2.
두 번째 그룹의 예로 MMLU를 들면, pre-training Loss가 2.2보다 높을 때 정확도는 25% 내외에 머물러 있습니다. MMLU의 각 문제에는 네 가지 옵션이 있으므로 모델 예측이 무작위 추측보다 나을 것이 아닙니다. 그러나 pre-training Loss가 2.2 아래로 떨어지면 첫 번째 작업 그룹에서 관찰된 추세와 유사하게 Loss가 감소함에 따라 정확도가 증가합니다. C-Eval, GSM8K 및 GSM8K-Chinese의 성능 추세는 유사한 패턴을 따릅니다. 네 데이터 세트 간에 언어, 작업, 프롬프트 유형 및 답변 형식의 차이에도 불구하고 성능 개선의 임계값은 놀랍게도 모두 2.2 전후입니다.
두 번째 그룹의 예로 MMLU를 들면, 사전 학습 손실이 2.2보다 높을 때 정확도는 25% 내외에 머물러 있습니다. MMLU의 각 문제에는 네 가지 옵션이 있으므로 모델 예측이 무작위 추측보다 나을 것이 아닙니다. 그러나 사전 학습 손실이 2.2 아래로 떨어지면 첫 번째 작업 그룹에서 관찰된 추세와 유사하게 손실이 감소함에 따라 정확도가 증가합니다. C-Eval, GSM8K 및 GSM8K-Chinese의 성능 추세는 유사한 패턴을 따릅니다. 네 데이터 세트 간에 언어, 작업, 프롬프트 유형 및 답변 형식의 차이에도 불구하고 성능 개선의 임계값은 놀랍게도 모두 2.2 전후입니다.