The paper should not be considered as a push to expand model sizes and data sizes of language models beyond current scales. It is not guaranteed that new tipping points emerge in larger scales. Also, pre-training is not the only way to improve the performance of emergent abilities. For example, instruction tuning [46; 36; 6; 26] can improve the zero-shot performance of language models on unseen tasks, including the MMLU dataset. Future studies can analyze the acquisition of emergent abilities and lower the scale requirements.
이 논문은 언어 모델의 모델 크기와 데이터 크기를 현재 규모를 넘어 확장하려는 촉진책으로 간주되어서는 안 됩니다. 더 큰 규모에서 새로운 팁 포인트가 나타날 것이라는 보장은 없습니다. 또한 pre-training만이 새로운 능력의 성능을 향상시키는 유일한 방법은 아닙니다. 예를 들어, Instruction Tuning[46; 36; 6; 26]은 MMLU 데이터 세트를 포함하여 보이지 않는 작업에서 언어 모델의 zero-shot 성능을 향상시킬 수 있습니다. 향후 연구에서는 새로운 능력의 습득을 분석하고 규모 요구 사항을 낮출 수 있습니다.
이 논문은 언어 모델의 모델 크기와 데이터 크기를 현재 규모를 넘어 확장하려는 촉진책으로 간주되어서는 안 됩니다. 더 큰 규모에서 새로운 팁 포인트가 나타날 것이라는 보장은 없습니다. 또한 사전 학습만이 새로운 능력의 성능을 향상시키는 유일한 방법은 아닙니다. 예를 들어, 명령어 튜닝[46; 36; 6; 26]은 MMLU 데이터 세트를 포함하여 보이지 않는 작업에서 언어 모델의 제로 샷 성능을 향상시킬 수 있습니다. 향후 연구에서는 새로운 능력의 습득을 분석하고 규모 요구 사항을 낮출 수 있습니다.