Training scale constitutes another significant factor influencing the transferability of LLM capabilities, composed of both pretraining scale and instruction tuning scale. Experimental results are shown in table 1. Taking the example of LLaMA (with 10K, 100K, and 1M further pretrain) and Open Chinese LLaMA, the scale of further Chinese pretraining gradually increases from 0 to 100 billion tokens. Under the settings of 1K and 5K instruction tuning, we observed that the response quality improves progressively with the increase in the scale of further pretraining. 1 However, when the instruction tuning data scale escalates to 950K, we find no significant differences in response quality among the models. Consequently, we hypothesize that more further pretraining could accelerate the model's alignment with human instructions, but the mere tens of billions in training scale are insufficient to enable the model to grasp a greater amount of world knowledge. This leads to their convergence at similar response levels. In other words, the enhancement in response quality primarily stems from an improvement in language generation prowess rather than an elevation in knowledge level.
훈련 규모는 사전 학습 규모와 Instruction Tuning 규모로 구성된 LLM 기능의 전이성에 영향을 미치는 또 다른 중요한 요소입니다. 실험 결과는 표 1에 나와 있습니다. LLaMA(10K, 100K, 1M 추가 사전 학습 포함)와 Open Chinese LLaMA를 예로 들면, 추가 중국어 사전 학습의 규모는 0에서 1000억 토큰으로 점진적으로 증가합니다. 1K 및 5K Instruction Tuning 설정에서 추가 사전 학습 규모가 증가함에 따라 응답 품질이 점진적으로 향상되는 것을 관찰했습니다. 1 그러나 Instruction Tuning 데이터 규모가 950K로 확대되면 모델 간 응답 품질에 큰 차이가 없는 것으로 나타났습니다. 따라서 더 많은 사전 학습을 통해 모델이 인간의 지시에 더 잘 맞춰질 수 있을 것이라고 가설을 세웠지만, 단 몇 십억의 학습 규모로는 모델이 더 많은 세계 지식을 파악하기에는 충분하지 않습니다. 이로 인해 비슷한 응답 수준에서 수렴하게 됩니다. 즉, 응답 품질의 향상은 주로 지식 수준의 향상보다는 언어 생성 능력의 향상에서 비롯된 것입니다.
훈련 규모는 사전 학습 규모와 지시 튜닝 규모로 구성된 LLM 기능의 전이성에 영향을 미치는 또 다른 중요한 요소입니다. 실험 결과는 표 1에 나와 있습니다. LLaMA(10K, 100K, 1M 추가 사전 학습 포함)와 Open Chinese LLaMA를 예로 들면, 추가 중국어 사전 학습의 규모는 0에서 1000억 토큰으로 점진적으로 증가합니다. 1K 및 5K 명령어 튜닝 설정에서 추가 사전 학습 규모가 증가함에 따라 응답 품질이 점진적으로 향상되는 것을 관찰했습니다. 1 그러나 명령어 튜닝 데이터 규모가 950K로 확대되면 모델 간 응답 품질에 큰 차이가 없는 것으로 나타났습니다. 따라서 더 많은 사전 학습을 통해 모델이 인간의 지시에 더 잘 맞춰질 수 있을 것이라고 가설을 세웠지만, 단 몇 십억의 학습 규모로는 모델이 더 많은 세계 지식을 파악하기에는 충분하지 않습니다. 이로 인해 비슷한 응답 수준에서 수렴하게 됩니다. 즉, 응답 품질의 향상은 주로 지식 수준의 향상보다는 언어 생성 능력의 향상에서 비롯된 것입니다.