Large Language Models (LLMs) have drawn a lot of attention due to their strong performance on a wide range of natural language tasks, since the release of ChatGPT in November 2022. LLMs' ability of general-purpose language understanding and generation is acquired by training billions of model's parameters on massive amounts of text data, as predicted by scaling laws [1, 2]. The research area of LLMs, while very recent, is evolving rapidly in many different ways. In this paper, we review some of the most prominent LLMs, including three popular LLM families (GPT, LLaMA, PaLM), and discuss their characteristics, contributions and limitations. We also give an overview of techniques developed to build, and augment LLMs. We then survey popular datasets prepared for LLM training, fine-tuning, and evaluation, review widely used LLM evaluation metrics, and compare the performance of several popular LLMs on a set of representative benchmarks. Finally, we conclude the paper by discussing open challenges and future research directions.
2022년 11월 ChatGPT가 출시된 이후, Large Language Models (LLMs)은 다양한 자연어 작업에서 강력한 성능을 발휘하여 많은 관심을 받고 있습니다. LLMs의 범용 언어 이해 및 생성 능력은 [1, 2]의 scaling laws에 따라 방대한 양의 텍스트 데이터에 대해 수십억 개의 모델 파라미터를 학습함으로써 습득됩니다. LLMs의 연구 분야는 매우 최근의 분야이지만 다양한 방식으로 빠르게 진화하고 있습니다. 이 논문에서는 세 가지 인기 있는 LLM 제품군(GPT, LLaMA, PaLM)을 포함하여 가장 대표적인 LLM에 대해 검토하고, 그 특징, 기여도 및 한계에 대해 논의합니다. 또한 LLM을 구축하고 증강하기 위해 개발된 기술에 대한 개요를 제공합니다. 그런 다음 LLM 훈련, Fine-tuning 및 평가를 위해 준비된 인기 있는 데이터 세트를 조사하고, 널리 사용되는 LLM 평가 메트릭을 검토하며, 대표적인 벤치마크 세트에서 몇 가지 인기 있는 LLM의 성능을 비교합니다. 마지막으로, 개방형 과제와 향후 연구 방향에 대해 논의하여 논문을 마무리합니다.
2022년 11월 ChatGPT가 출시된 이후, 대규모 언어 모델(LLM)은 다양한 자연어 작업에서 강력한 성능을 발휘하여 많은 관심을 받고 있습니다. LLM의 범용 언어 이해 및 생성 능력은 [1, 2]의 확장 법칙에 따라 방대한 양의 텍스트 데이터에 대해 수십억 개의 모델 파라미터를 학습함으로써 습득됩니다. LLM의 연구 분야는 매우 최근의 분야이지만 다양한 방식으로 빠르게 진화하고 있습니다. 이 논문에서는 세 가지 인기 있는 LLM 제품군(GPT, LLaMA, PaLM)을 포함하여 가장 대표적인 LLM에 대해 검토하고, 그 특징, 기여도 및 한계에 대해 논의합니다. 또한 LLM을 구축하고 증강하기 위해 개발된 기술에 대한 개요를 제공합니다. 그런 다음 LLM 훈련, 미세 조정 및 평가를 위해 준비된 인기 있는 데이터 세트를 조사하고, 널리 사용되는 LLM 평가 메트릭을 검토하며, 대표적인 벤치마크 세트에서 몇 가지 인기 있는 LLM의 성능을 비교합니다. 마지막으로, 개방형 과제와 향후 연구 방향에 대해 논의하여 논문을 마무리합니다.