Large language models (LLMs) mainly refer to transformer-based neural language models 1 that contain tens to hundreds of billions of parameters, which are pre-trained on massive text data, such as PaLM [31], LLaMA [32], and GPT-4 [33], as summarized in Table III. Comparedto PLMs, LLMs are not only much larger in model size, but also exhibit stronger language understanding and generation abilities, and more importantly, emergent abilities that are not present in smaller-scale language models. As illustrated in Fig. 1, these emergent abilities include (1) in-context learning, where LLMs learn a new task from a small set of examples presented in the prompt at inference time, (2) instruction following, where LLMs, after instruction tuning, can follow the instructions for new types of tasks without using explicit examples, and (3) multi-step reasoning, where LLMs can solve a complex task by breaking down that task into intermediate reasoning steps as demonstrated in the chain-of-thought prompt [34]. LLMs can also be augmented by using external knowledge and tools [35, 36] so that they can effectively interact with users and environment [37], and continually improve itself using feedback data collected through interactions (e.g. via reinforcement learning with human feedback (RLHF)).
대규모 언어 모델(LLM)은 주로 파라미터 수가 수십에서 수백억 개에 달하는 Transformer 기반 신경 언어 모델을 말하며, 표 III에 요약된 것처럼 PaLM [31], LLaMA [32], GPT-4 [33]와 같이 방대한 텍스트 데이터에 대해 사전 학습을 거친 모델을 말합니다. LLM은 PLM에 비해 모델 크기가 훨씬 크기는 물론 언어 이해 및 생성 능력이 뛰어나며, 더 중요한 것은 소규모 언어 모델에는 없는 새로운 능력을 보여줍니다. 그림 1과 같이 이러한 새로운 능력에는 (1) 추론 시간에 프롬프트에 제시된 소수의 예제를 통해 새로운 작업을 학습하는 In-Context Learning, (2) 명시적인 예제를 사용하지 않고도 Instruction Tuning을 거친 후 새로운 유형의 작업에 대한 명령을 따를 수 있는 Instruction Following, (3) 연쇄 사고 프롬프트 [34]에서처럼 복잡한 작업을 중간 추론 단계로 분해하여 해결할 수 있는 다단계 추론 등이 있습니다. LLM은 외부 지식과 도구를 사용하여 증강할 수도 있으므로 사용자 및 환경과 효과적으로 상호 작용할 수 있으며 [35, 36] 상호 작용을 통해 수집한 피드백 데이터를 사용하여 (예: Reinforcement Learning from Human Feedback (RLHF)을 이용한 강화 학습) 지속적으로 자신을 개선할 수 있습니다.
대규모 언어 모델(LLM)은 주로 파라미터 수가 수십에서 수백억 개에 달하는 트랜스포머 기반 신경 언어 모델을 말하며, 표 III에 요약된 것처럼 PaLM [31], LLaMA [32], GPT-4 [33]와 같이 방대한 텍스트 데이터에 대해 사전 학습을 거친 모델을 말합니다. LLM은 PLM에 비해 모델 크기가 훨씬 크기는 물론 언어 이해 및 생성 능력이 뛰어나며, 더 중요한 것은 소규모 언어 모델에는 없는 새로운 능력을 보여줍니다. 그림 1과 같이 이러한 새로운 능력에는 (1) 추론 시간에 프롬프트에 제시된 소수의 예제를 통해 새로운 작업을 학습하는 인컨텍스트 학습, (2) 명시적인 예제를 사용하지 않고도 명령어 튜닝을 거친 후 새로운 유형의 작업에 대한 명령을 따를 수 있는 명령어 수행, (3) 연쇄 사고 프롬프트 [34]에서처럼 복잡한 작업을 중간 추론 단계로 분해하여 해결할 수 있는 다단계 추론 등이 있습니다. LLM은 외부 지식과 도구를 사용하여 증강할 수도 있으므로 사용자 및 환경과 효과적으로 상호 작용할 수 있으며 [35, 36] 상호 작용을 통해 수집한 피드백 데이터를 사용하여 (예: 사람과의 피드백(RLHF)을 이용한 강화 학습) 지속적으로 자신을 개선할 수 있습니다.