**Finetuning of LLMs** Recent years have seen rapid progress in developing large-scale language models (LLMs) Brown et al. (2020); OpenAI (2023); Workshop et al. (2022); Touvron et al. (2023); Anil et al. (2023). To adapt these foundation models to downstream tasks, fine-tuning Mishra et al. (2021); Sanh et al. (2021); Chung et al. (2022); Muenighoff et al. (2023); Zhou et al. (2023); Lin et al. (2023); Ji et al. (2024) has become a prevalent approach. Traditional supervised fine-tuning may be limited by the cost and compute required for adapating LLMs. Addressing these challenges, research in the realm of parameter-efficient fine-tuning Houlsby et al. (2019), such as Prompt Tuning Lester et al. (2021), Prefix-Tuning Li and Liang (2021), P-Tuning Liu et al. (2022) and Low-Rank based fine-tuning Hu et al. (2021), has gained traction. These methods enable LLMs to acquire domain-specific knowledge and adapt to specialized tasks such as question answering, summarization, and dialogue generation. Another branch of finetuning is through RLHF Ouyang et al. (2022); Rafailov et al. (2023); Liu et al. (2023); Zhang et al. (2023), which adopts RL to align LLM's preference with human.
**LLM의 Fine-tuning** 최근 몇 년 동안 대규모 언어 모델(LLM)을 개발하는 데 빠른 진전이 있었습니다. Brown et al. (2020); OpenAI (2023); 워크숍 등(2022); Touvron et al. (2023); Anil et al. (2023). 이러한 기반 모델을 다운스트림 작업에 맞게 조정하기 위해 Fine-tuning Mishra et al. (2021); Sanh et al. (2021); Chung et al. (2022); Muenighoff et al. (2023); Zhou et al. (2023); Lin et al. (2023); Ji et al. (2024)이 널리 사용되는 접근 방식이 되었습니다. 기존의 Supervised Fine-tuning은 LLM을 조정하는 데 필요한 비용과 계산으로 인해 제한될 수 있습니다. 이러한 문제를 해결하기 위해 Prompt Tuning Lester et al. (2021), Prefix-Tuning Li and Liang (2021), P-Tuning Liu et al. (2022), 저순위 기반 Fine-tuning Hu et al. (2021)과 같은 파라미터 효율적인 Fine-tuning Houlsby et al. (2019)의 영역에서 연구가 주목받고 있습니다. 이러한 방법을 통해 LLM은 도메인별 지식을 습득하고 질문 답변, 요약, 대화 생성과 같은 특수한 작업에 적응할 수 있습니다. Fine-tuning의 또 다른 분야는 RLHF Ouyang et al. (2022); Rafailov et al. (2023); Liu et al. (2023); Zhang et al. (2023)은 Reinforcement Learning을 채택하여 LLM의 선호도를 사람과 일치시키는 것입니다.
**LLM의 미세 조정** 최근 몇 년 동안 대규모 언어 모델(LLM)을 개발하는 데 빠른 진전이 있었습니다. Brown et al. (2020); OpenAI (2023); 워크숍 등(2022); Touvron et al. (2023); Anil et al. (2023). 이러한 기반 모델을 다운스트림 작업에 맞게 조정하기 위해 미세 조정 Mishra et al. (2021); Sanh et al. (2021); Chung et al. (2022); Muenighoff et al. (2023); Zhou et al. (2023); Lin et al. (2023); Ji et al. (2024)이 널리 사용되는 접근 방식이 되었습니다. 기존의 지도 미세 조정은 LLM을 조정하는 데 필요한 비용과 계산으로 인해 제한될 수 있습니다. 이러한 문제를 해결하기 위해 프롬프트 튜닝 Lester et al. (2021), 접두사 튜닝 Li and Liang (2021), P-튜닝 Liu et al. (2022), 저순위 기반 미세 조정 Hu et al. (2021)과 같은 파라미터 효율적인 미세 조정 Houlsby et al. (2019)의 영역에서 연구가 주목받고 있습니다. 이러한 방법을 통해 LLM은 도메인별 지식을 습득하고 질문 답변, 요약, 대화 생성과 같은 특수한 작업에 적응할 수 있습니다. 미세 조정의 또 다른 분야는 RLHF Ouyang et al. (2022); Rafailov et al. (2023); Liu et al. (2023); Zhang et al. (2023)은 RL을 채택하여 LLM의 선호도를 사람과 일치시키는 것입니다.