Ever since the Turing Test was proposed in the 1950s, humans have explored the mastering of language intelligence by machine. Language is essentially a complex, intricate system of human expressions governed by grammatical rules. It poses a significant challenge to develop capable artificial intelligence (AI) algorithms for comprehending and grasping a language. As a major approach, _language modeling_ has been widely studied for language understanding and generation in the past two decades, evolving from statistical language models to neural language models. Recently, pre-trained language models (PLMs) have been proposed by pre-training Transformer models over large-scale corpora, showing strong capabilities in solving various natural language processing (NLP) tasks. Since the researchers have found that model scaling can lead to an improved model capacity, they further investigate the scaling effect by increasing the parameter scale to an even larger size. Interestingly, when the parameter scale exceeds a certain level, these enlarged language models not only achieve a significant performance improvement, but also exhibit some special abilities (_e.g.,_ in-context learning) that are not present in small-scale language models (_e.g.,_ BERT). To discriminate the language models in different parameter scales, the research community has coined the term _large language models (LLM)_ for the PLMs of significant size (_e.g.,_ containing tens or hundreds of billions of parameters). Recently, the research on LIMs has been largely advanced by both academia and industry, and a remarkable progress is the launch of ChatGPT (a powerful AI chatbot developed based on LIMs), which has attracted widespread attention from society. The technical evolution of LIMs has been making an important impact on the entire AI community, which would revolutionize the way how we develop and use AI algorithms. Considering this rapid technical progress, in this survey, we review the recent advances of LIMs by introducing the background, key findings, and mainstream techniques. In particular, we focus on four major aspects of LIMs, namely pre-training, adaptation tuning, utilization, and capacity evaluation. Furthermore, we also summarize the available resources for developing LIMs and discuss the remaining issues for future directions. This survey provides an up-to-date review of the literature on LIMs, which can be a useful resource for both researchers and engineers.
튜링 테스트가 제안된 1950년대부터 인간은 기계의 언어 지능 습득에 대한 탐구를 시작했습니다. 언어는 본질적으로 문법 규칙에 의해 지배되는 복잡하고 복잡한 인간 표현 체계입니다. 언어를 이해하고 파악할 수 있는 유능한 인공지능(AI) 알고리즘을 개발하는 것은 상당한 도전입니다. 주요 접근 방식으로, 지난 20년간 통계 언어 모델에서 신경 언어 모델로 발전한 _language modeling_이 언어 이해와 생성을 위해 널리 연구되어 왔습니다. 최근에는 대규모 말뭉치에 대해 Transformer 모델을 사전 학습하여 다양한 자연어 처리(NLP) 작업을 해결하는 강력한 기능을 보여주는 사전 학습 언어 모델(PLM)이 제안되었습니다. 연구자들은 모델 scaling이 모델 용량을 향상시킬 수 있다는 사실을 발견하고, 매개변수 규모를 더 큰 규모로 늘려 scaling 효과를 추가로 조사했습니다. 흥미롭게도 매개변수 규모가 일정 수준을 초과하면 이렇게 확대된 언어 모델은 훨씬 더 높은 성능 향상을 달성할 뿐만 아니라 소규모 언어 모델(_예: BERT_)에는 없는 몇 가지 특별한 능력(_예: In-Context Learning)도 나타냅니다. 다양한 매개변수 규모의 언어 모델을 구분하기 위해 연구 커뮤니티에서는 상당한 규모(예: 수십 또는 수백억 개의 매개변수 포함)의 PLM에 대해 _Large Language Models (LLM)_이라는 용어를 만들었습니다. 최근에는 학계와 업계에서 LLM에 대한 연구가 크게 발전했으며, 사회적으로 널리 주목받고 있는 강력한 AI 챗봇인 ChatGPT(LLM을 기반으로 개발된 강력한 AI 챗봇)가 출시된 것이 주목할 만한 성과입니다. LLM의 기술적 진화는 AI 알고리즘을 개발하고 사용하는 방식에 혁명을 일으킬 AI 커뮤니티 전체에 중요한 영향을 미치고 있습니다. 이러한 급격한 기술 발전을 고려하여 이 설문조사에서는 배경, 주요 연구 결과, 주류 기술을 소개하여 최근 LLM의 발전을 검토합니다. 특히 사전 학습, 적응 튜닝, 활용, 성능 평가 등 LLM의 네 가지 주요 측면에 중점을 둡니다. 또한 LLM 개발을 위한 사용 가능한 리소스를 요약하고 향후 방향에 대한 남은 문제에 대해 논의합니다. 이 설문조사는 연구자와 엔지니어 모두에게 유용한 리소스가 될 수 있는 LLM 관련 문헌에 대한 최신 리뷰를 제공합니다.
튜링 테스트가 제안된 1950년대부터 인간은 기계의 언어 지능 습득에 대한 탐구를 시작했습니다. 언어는 본질적으로 문법 규칙에 의해 지배되는 복잡하고 복잡한 인간 표현 체계입니다. 언어를 이해하고 파악할 수 있는 유능한 인공지능(AI) 알고리즘을 개발하는 것은 상당한 도전입니다. 주요 접근 방식으로, 지난 20년간 통계 언어 모델에서 신경 언어 모델로 발전한 언어 모델링_이 언어 이해와 생성을 위해 널리 연구되어 왔습니다. 최근에는 대규모 말뭉치에 대해 트랜스포머 모델을 사전 학습하여 다양한 자연어 처리(NLP) 작업을 해결하는 강력한 기능을 보여주는 사전 학습 언어 모델(PLM)이 제안되었습니다. 연구자들은 모델 스케일링이 모델 용량을 향상시킬 수 있다는 사실을 발견하고, 매개변수 규모를 더 큰 규모로 늘려 스케일링 효과를 추가로 조사했습니다. 흥미롭게도 매개변수 규모가 일정 수준을 초과하면 이렇게 확대된 언어 모델은 훨씬 더 높은 성능 향상을 달성할 뿐만 아니라 소규모 언어 모델(_예: BERT_)에는 없는 몇 가지 특별한 능력(_예: 컨텍스트 내 학습)도 나타냅니다. 다양한 매개변수 규모의 언어 모델을 구분하기 위해 연구 커뮤니티에서는 상당한 규모(예: 수십 또는 수백억 개의 매개변수 포함)의 PLM에 대해 _대규모 언어 모델(LLM)_이라는 용어를 만들었습니다. 최근에는 학계와 업계에서 LLM에 대한 연구가 크게 발전했으며, 사회적으로 널리 주목받고 있는 강력한 AI 챗봇인 ChatGPT(LLM을 기반으로 개발된 강력한 AI 챗봇)가 출시된 것이 주목할 만한 성과입니다. LLM의 기술적 진화는 AI 알고리즘을 개발하고 사용하는 방식에 혁명을 일으킬 AI 커뮤니티 전체에 중요한 영향을 미치고 있습니다. 이러한 급격한 기술 발전을 고려하여 이 설문조사에서는 배경, 주요 연구 결과, 주류 기술을 소개하여 최근 LLM의 발전을 검토합니다. 특히 사전 학습, 적응 튜닝, 활용, 성능 평가 등 LLM의 네 가지 주요 측면에 중점을 둡니다. 또한 LLM 개발을 위한 사용 가능한 리소스를 요약하고 향후 방향에 대한 남은 문제에 대해 논의합니다. 이 설문조사는 연구자와 엔지니어 모두에게 유용한 리소스가 될 수 있는 LLM 관련 문헌에 대한 최신 리뷰를 제공합니다.