**Language Modeling.** As the most fundamental ability of LLMs, _language modeling_ aims to predict the next token based on the previous tokens [1], which mainly focuses on the capacity of basic language understanding and generation. For evaluating such an ability, typical language modeling datasets that existing work uses include Penn Treebank [538], WikiText-103 [539], and the Pile [161], where the metric of _perplexity_ is commonly used for evaluating the model performance under the zero-shot setting. Empirical studies [93, 55] show that LLMs bring substantial performance gains over the previous state-of-the-art methods on these evaluation datasets. To better test the modeling capacity of long-range dependencies in text, the LAMBADA dataset [233] has been introduced, where LLMs are required to predict the last word of sentences based on a paragraph of context. Then, the accuracy and perplexity of the predicted last words are employed to evaluate LLMs. As shown in existing work, the performance on the language modeling tasks typically follows the scaling law [30], which means that scaling language models would improve the accuracy and reduce the perplexity.
**언어 모델링.** LLM의 가장 기본적인 능력인 _language modeling_은 이전 토큰을 기반으로 다음 토큰을 예측하는 것을 목표로 하며, 주로 기본적인 언어 이해 및 생성 능력에 중점을 둡니다. 이러한 능력을 평가하기 위해 기존 연구에서 사용하는 일반적인 language modeling 데이터 세트에는 Penn Treebank [538], WikiText-103 [539], Pile [161] 등이 있으며, 이러한 모델 성능을 평가하기 위해 _perplexity_ 지표가 일반적으로 zero-shot 설정에서 사용됩니다. 실증 연구 [93, 55]에 따르면 LLM은 이러한 평가 데이터 세트에서 기존의 최첨단 방법보다 상당한 성능 향상을 가져다줍니다. 텍스트에서 장거리 종속성의 모델링 능력을 더 잘 테스트하기 위해 문단의 문맥을 기반으로 문장의 마지막 단어를 예측해야 하는 LAMBADA 데이터 세트 [233]가 도입되었으며, 예측된 마지막 단어의 정확도와 perplexity를 사용하여 LLM을 평가합니다. 기존 연구에서 볼 수 있듯이 language modeling 작업의 성능은 일반적으로 scaling law [30]을 따르며, 이는 language models를 scaling하면 정확도가 향상되고 perplexity가 감소한다는 것을 의미합니다.
**언어 모델링.** LLM의 가장 기본적인 능력인 _언어 모델링_은 이전 토큰을 기반으로 다음 토큰을 예측하는 것을 목표로 하며, 주로 기본적인 언어 이해 및 생성 능력에 중점을 둡니다. 이러한 능력을 평가하기 위해 기존 연구에서 사용하는 일반적인 언어 모델링 데이터 세트에는 Penn Treebank [538], WikiText-103 [539], Pile [161] 등이 있으며, 이러한 모델 성능을 평가하기 위해 _난해성_ 지표가 일반적으로 0샷 설정에서 사용됩니다. 실증 연구 [93, 55]에 따르면 LLM은 이러한 평가 데이터 세트에서 기존의 최첨단 방법보다 상당한 성능 향상을 가져다줍니다. 텍스트에서 장거리 종속성의 모델링 능력을 더 잘 테스트하기 위해 문단의 문맥을 기반으로 문장의 마지막 단어를 예측해야 하는 LAMBADA 데이터 세트 [233]가 도입되었으며, 예측된 마지막 단어의 정확도와 난해성을 사용하여 LLM을 평가합니다. 기존 연구에서 볼 수 있듯이 언어 모델링 작업의 성능은 일반적으로 스케일링 법칙 [30]을 따르며, 이는 언어 모델을 스케일링하면 정확도가 향상되고 난해성이 감소한다는 것을 의미합니다.