A theoretical model, providing an underpinning of the necessity of scaling laws for the emergence of skill has recently been given by (Arora and Goyal, 2023). They analyse "emergence" with the scaling laws as a departure point in a model that links cross-entropy loss in LLMs to basic skills to show that scaling laws enable the model to learn (and generalize) efficiently.
기술의 출현을 위한 scaling laws의 필요성에 대한 이론적 모델은 최근 (Arora and Goyal, 2023)에 의해 제시되었습니다. 이들은 scaling laws를 출발점으로 삼아 cross-entropy loss를 LLM의 기본 기술과 연결하는 모델에서 '출현'을 분석하여 scaling laws가 모델이 효율적으로 학습하고 일반화할 수 있도록 한다는 것을 보여줍니다.
기술의 출현을 위한 스케일링 법칙의 필요성에 대한 이론적 모델은 최근 (Arora and Goyal, 2023)에 의해 제시되었습니다. 이들은 스케일링 법칙을 출발점으로 삼아 범교차 엔트로피 손실을 LLM의 기본 기술과 연결하는 모델에서 '출현'을 분석하여 스케일링 법칙이 모델이 효율적으로 학습하고 일반화할 수 있도록 한다는 것을 보여줍니다.