As discussed before, language model is not a new technical concept specially for LLMs, but has evolved with the advance of artificial intelligence over the decades. Early language models mainly aim to model and generate text data, while latest language models (_e.g.,_ GPT-4) focus on complex task solving. From _language modeling_ to _task solving_, it is an important leap in scientific thinking, which is the key to understand the development of language models in the research history. From the perspective of task solving, the four generations of language models have exhibited different levels of model capacities. In Figure 2, we describe the evolution process of language models in terms of the task solving capacity. At first, statistical language models mainly assisted in some specific tasks (_e.g.,_ retrieval or speech tasks), in which the predicted or estimated probabilities can enhance the performance of task-specific approaches. Subsequently, neural language models focused on learning task-agnostic representations (_e.g.,_ features), aiming to reduce the efforts for human feature engineering. Furthermore, pre-trained language models learned context-aware representations that can be optimized according to downstream tasks. For the latest generation of language model, LLMs are enhanced by exploring the scaling effect on model capacity, which can be considered as general-purpose task solvers. To summarize, in the evolution process, the task scope that can be solved by language models have been greatly extended, and the task performance attained by language models have been significantly enhanced.
앞서 설명한 바와 같이 언어 모델은 특히 LLM에만 해당되는 새로운 기술 개념이 아니라 수십 년에 걸쳐 인공 지능의 발전과 함께 발전해 왔습니다. 초기 언어 모델은 주로 텍스트 데이터를 모델링하고 생성하는 데 중점을 두었지만, 최신 언어 모델(_예: GPT-4)은 복잡한 작업 해결에 중점을 두고 있습니다. _Language modeling_에서 _task solving_로, 과학적 사고의 중요한 도약은 연구 역사에서 언어 모델의 발전을 이해하는 열쇠입니다. 작업 해결의 관점에서 볼 때, 4세대 언어 모델은 서로 다른 수준의 모델 용량을 보여주었습니다. 그림 2에서는 언어 모델의 진화 과정을 작업 해결 능력 측면에서 설명합니다. 처음에는 통계적 언어 모델이 주로 특정 작업(_예: retrieval 또는 음성 작업_)을 지원하는 데 중점을 두었는데, 예측 또는 추정 확률을 통해 작업별 접근 방식의 성능을 향상시킬 수 있었습니다. 이후 신경 언어 모델은 인간의 특징 엔지니어링에 대한 노력을 줄이기 위해 작업에 구애받지 않는 표현(_예: 특징_)을 학습하는 데 중점을 두었습니다. 또한 사전 학습된 언어 모델은 다운스트림 작업에 따라 최적화할 수 있는 컨텍스트 인식 표현을 학습했습니다. 최신 언어 모델인 LLM은 일반적인 목적의 작업 솔버로 간주할 수 있는 모델 용량에 대한 확장 효과를 탐색하여 향상되었습니다. 요약하자면, 진화 과정에서 언어 모델이 해결할 수 있는 작업 범위가 크게 확장되었고, 언어 모델이 달성한 작업 성능이 크게 향상되었습니다.
앞서 설명한 바와 같이 언어 모델은 특히 LLM에만 해당되는 새로운 기술 개념이 아니라 수십 년에 걸쳐 인공 지능의 발전과 함께 발전해 왔습니다. 초기 언어 모델은 주로 텍스트 데이터를 모델링하고 생성하는 데 중점을 두었지만, 최신 언어 모델(_예: GPT-4)은 복잡한 작업 해결에 중점을 두고 있습니다. 언어 모델링_에서 _작업 해결_로, 과학적 사고의 중요한 도약은 연구 역사에서 언어 모델의 발전을 이해하는 열쇠입니다. 작업 해결의 관점에서 볼 때, 4세대 언어 모델은 서로 다른 수준의 모델 용량을 보여주었습니다. 그림 2에서는 언어 모델의 진화 과정을 작업 해결 능력 측면에서 설명합니다. 처음에는 통계적 언어 모델이 주로 특정 작업(예: 검색 또는 음성 작업)을 지원하는 데 중점을 두었는데, 예측 또는 추정 확률을 통해 작업별 접근 방식의 성능을 향상시킬 수 있었습니다. 이후 신경 언어 모델은 인간의 특징 엔지니어링에 대한 노력을 줄이기 위해 작업에 구애받지 않는 표현(_예: 특징)을 학습하는 데 중점을 두었습니다. 또한 사전 학습된 언어 모델은 다운스트림 작업에 따라 최적화할 수 있는 컨텍스트 인식 표현을 학습했습니다. 최신 언어 모델인 LLM은 일반적인 목적의 작업 솔버로 간주할 수 있는 모델 용량에 대한 확장 효과를 탐색하여 향상되었습니다. 요약하자면, 진화 과정에서 언어 모델이 해결할 수 있는 작업 범위가 크게 확장되었고, 언어 모델이 달성한 작업 성능이 크게 향상되었습니다.