After pre-training, LLMs can acquire the general abilities for solving various tasks. However, an increasing number of studies have shown that LLM's abilities can be further adapted according to specific goals. In this section, we introduce two major approaches to adapting pre-trained LLMs, namely instruction tuning and alignment tuning. The former approach mainly aims to enhance (or unlock) the abilities of LLMs, while the latter approach aims to align the behaviors of LLMs with human values or preferences. Further, we will also discuss efficient tuning and quantization for model adaptation in resource-limited settings. In what follows, we will introduce the four parts in detail.
사전 학습을 거친 LLM은 다양한 작업을 해결하기 위한 일반적인 능력을 습득할 수 있습니다. 그러나 점점 더 많은 연구에서 LLM의 능력이 특정 목표에 따라 더욱 적응될 수 있음을 보여주고 있습니다. 이 섹션에서는 사전 학습된 LLM을 조정하는 두 가지 주요 접근 방식, 즉 Instruction Tuning과 Alignment Tuning을 소개합니다. 전자의 접근 방식은 주로 LLM의 능력을 향상시키거나(또는 잠금 해제하는 것을 목표로 하는 반면, 후자의 접근 방식은 LLM의 행동을 인간의 가치 또는 선호도에 맞추는 것을 목표로 합니다. 또한 리소스가 제한된 환경에서 모델을 적용하기 위한 효율적인 tuning과 Quantization에 대해서도 논의할 것입니다. 다음에서는 네 가지 부분을 자세히 소개하겠습니다.
사전 학습을 거친 LLM은 다양한 작업을 해결하기 위한 일반적인 능력을 습득할 수 있습니다. 그러나 점점 더 많은 연구에서 LLM의 능력이 특정 목표에 따라 더욱 적응될 수 있음을 보여주고 있습니다. 이 섹션에서는 사전 학습된 LLM을 조정하는 두 가지 주요 접근 방식, 즉 지시 조정과 정렬 조정을 소개합니다. 전자의 접근 방식은 주로 LLM의 능력을 향상시키거나(또는 잠금 해제하는 것을 목표로 하는 반면, 후자의 접근 방식은 LLM의 행동을 인간의 가치 또는 선호도에 맞추는 것을 목표로 합니다. 또한 리소스가 제한된 환경에서 모델을 적용하기 위한 효율적인 튜닝과 양자화에 대해서도 논의할 것입니다. 다음에서는 네 가지 부분을 자세히 소개하겠습니다.