We briefly review the pretraining process of large language models and summarize key findings from neural scaling laws, then we formalize the problem we study. For more related work, please refer to Sec. 6.
대규모 언어 모델의 사전 학습 과정을 간략하게 검토하고 neural scaling laws의 주요 연구 결과를 요약한 다음 연구하는 문제를 공식화한다. 자세한 관련 연구 내용은 섹션 6을 참조하십시오.
대규모 언어 모델의 사전 학습 과정을 간략하게 검토하고 신경 확장 법칙의 주요 연구 결과를 요약한 다음 연구하는 문제를 공식화한다. 자세한 관련 연구 내용은 섹션 6을 참조하십시오.