In this survey, we have reviewed the recent progress of large language models (LLMs), and introduced the key concepts, findings, and techniques for understanding and utilizing LLMs. We focus on the large-sized models (_i.e._, having a size larger than 10B) while excluding the contents of early pre-trained language models (_e.g._, BERT and GPT-2) that have been well covered in the existing literature. In particular, our survey has discussed four important aspects of LLMs, _i.e._, pre-training, adaptation, utilization, and evaluation. For each aspect, we highlight the techniques or findings that are key to the success of LLMs. Furthermore, we also summarize the available resources for developing LLMs and discuss important implementation guidelines for reproducing LLMs. This survey tries to cover the most recent literature about LLMs and provides a good reference resource on this topic for both researchers and engineers.
이 설문조사에서는 최근 Large Language Models (LLMs)의 진전을 검토하고, LLM을 이해하고 활용하기 위한 주요 개념, 연구 결과 및 기술을 소개했습니다. 기존 문헌에서 잘 다루어진 초기 사전 학습 언어 모델(_예: BERT 및 GPT-2)의 내용은 제외하고 대규모 모델(_즉, 10B 이상의 크기)에 초점을 맞추고 있습니다. 특히, 이 설문조사에서는 LLM의 네 가지 중요한 측면, 즉 pre-training, adaptation, utilization, 평가에 대해 논의했습니다. 각 측면에 대해 LLM의 성공에 핵심적인 기술 또는 발견을 강조합니다. 또한 LLM 개발을 위한 사용 가능한 리소스를 요약하고 LLM을 재현하기 위한 중요한 구현 지침을 논의합니다. 이 설문조사는 LLM에 대한 가장 최근의 문헌을 다루고 있으며 연구자와 엔지니어 모두에게 이 주제에 대한 좋은 참고 자료를 제공합니다.
이 설문조사에서는 최근 대규모 언어 모델(LLM)의 진전을 검토하고, LLM을 이해하고 활용하기 위한 주요 개념, 연구 결과 및 기술을 소개했습니다. 기존 문헌에서 잘 다루어진 초기 사전 학습 언어 모델(_예: BERT 및 GPT-2)의 내용은 제외하고 대규모 모델(_즉, 10B 이상의 크기)에 초점을 맞추고 있습니다. 특히, 이 설문조사에서는 LLM의 네 가지 중요한 측면, 즉 사전 학습, 적응, 활용, 평가에 대해 논의했습니다. 각 측면에 대해 LLM의 성공에 핵심적인 기술 또는 발견을 강조합니다. 또한 LLM 개발을 위한 사용 가능한 리소스를 요약하고 LLM을 재현하기 위한 중요한 구현 지침을 논의합니다. 이 설문조사는 LLM에 대한 가장 최근의 문헌을 다루고 있으며 연구자와 엔지니어 모두에게 이 주제에 대한 좋은 참고 자료를 제공합니다.