This paper present a survey of LLMs developed in the past few years. We first provide an overview of early pre-trained language models (e.g., as BERT), then review three popular LLM families (GPT, LLaMA, PaLM), and other representative LLMs. We then survey methods and techniques of building, augmenting, and using LLMs. We review popular LLM datasets and benchmarks, and compare performance of a set of prominent models on public benchmarks. Finally, we present open challenges and future research directions.
이 논문은 지난 몇 년간 개발된 LLMs에 대한 설문 조사를 제공합니다. 먼저 초기 사전 훈련된 언어 모델들(e.g., BERT)에 대한 개요를 제공한 후, 세 가지 인기 있는 LLM 계열(GPT, LLaMA, PaLM)과 기타 대표적인 LLM들을 검토합니다. 그 다음으로 LLMs를 구축, 증강 및 사용하는 방법과 기술을 조사합니다. 인기 있는 LLM 데이터셋과 벤치마크를 검토하고, 공공 벤치마크에서 두드러진 모델들의 성능을 비교합니다. 마지막으로, 해결되지 않은 과제와 미래 연구 방향을 제시합니다.
이 백서에서는 지난 몇 년 동안 개발된 LLM에 대한 개요를 제공합니다. 먼저 초기 사전 학습 언어 모델(예: BERT)에 대한 개요를 제공한 다음, 인기 있는 LLM 제품군 3가지(GPT, LLaMA, PaLM)와 기타 대표적인 LLM을 검토합니다. 그런 다음 LLM을 구축, 증강 및 사용하는 방법과 기술을 살펴봅니다. 인기 있는 LLM 데이터 세트와 벤치마크를 검토하고 공개 벤치마크에서 일련의 주요 모델의 성능을 비교합니다. 마지막으로, 개방형 과제와 향후 연구 방향을 제시합니다.