Excitingly, most data points from the LLaMA models with different sizes (7B, 13B, 33B, 65B) fall on the same upwards trend. This observation further confirm our conclusion that the model's pre-training loss can predict its performance on downstream tasks, regardless of model size and token count. Note that there is one only exception at the early stage of LLaMA-65B. We can see that when the training loss is higher than 1.8, LLaMA-65B performs worse than smaller models with the same training loss. Without access to its intermediate checkpoints, we unfortunately cannot further analyze the result. Note that the outliers only constitute the initial 10% training tokens.
흥미롭게도 크기가 다른 LLaMA 모델(7B, 13B, 33B, 65B)의 대부분의 데이터 포인트는 동일한 상승 추세에 속합니다. 이 관찰 결과는 모델의 pre-training Loss가 모델 크기와 토큰 수에 관계없이 다운스트림 작업에서의 성능을 예측할 수 있다는 결론을 더욱 확증합니다. LLaMA-65B의 초기 단계에서 예외가 하나만 있다는 점에 유의하세요. Training Loss가 1.8보다 높을 때 LLaMA-65B는 동일한 Training Loss를 가진 더 작은 모델보다 성능이 떨어지는 것을 볼 수 있습니다. 중간 체크포인트에 액세스할 수 없어서 결과를 더 이상 분석할 수 없습니다. 이상값은 초기 10%의 Training Tokens으로만 구성된다는 점에 유의하세요.
흥미롭게도 크기가 다른 LLaMA 모델(7B, 13B, 33B, 65B)의 대부분의 데이터 포인트는 동일한 상승 추세에 속합니다. 이 관찰 결과는 모델의 사전 학습 손실이 모델 크기와 토큰 수에 관계없이 다운스트림 작업에서의 성능을 예측할 수 있다는 결론을 더욱 확증합니다. LLaMA-65B의 초기 단계에서 예외가 하나만 있다는 점에 유의하세요. 훈련 손실이 1.8보다 높을 때 LLaMA-65B는 동일한 훈련 손실을 가진 더 작은 모델보다 성능이 떨어지는 것을 볼 수 있습니다. 중간 체크포인트에 액세스할 수 없어서 결과를 더 이상 분석할 수 없습니다. 이상값은 초기 10%의 훈련 토큰으로만 구성된다는 점에 유의하세요.