**Pros and Cons of SFT**. SFT has been shown to be an effective approach to boosting the performance of LLMs on various benchmarks [67, 69, 137, 138], which can largely enhance the task generalization ability and flexibly endow specific functions (_e.g.,_ establishing the chatbot's identity). More discussions about the usefulness of SFT can be found in Section 5.1.3. It has been widely recognized that SFT mainly _unlocks_ the abilities but not _inject_ new abilities into LLMs. Thus, it might become problematic when one tries to stimulate the non-endogenous abilities of LLMs via SFT. As a concrete scenario, it would potentially advocate the hallucination behaviors when demonstration data is beyond the knowledge or ability scope of LLMs, _e.g.,_ training a LLM to answer questions about its unknown facts. An interesting viewpoint from John Schulman's talk on RLHF [395] is that distilling superior models to train less capable models (_e.g.,_ prompting GPT-4 to generate the response as fine-tuning data) might increase the possibilities of generating the hallucinated texts, thus likely affecting the factual accuracy of LLMs. Furthermore, as a behavior cloning method, SFT aims to imitate the behaviors (without explorations) of the experts who construct the demonstration data. However, there often exist variations among different annotators on the writing styles, quality, and preferences of demonstration data, which tends to affect the learning performance of SFT. Thus, high-quality instruction data (but not the quantity) is the primary factor for effective training of LLMs during the SFT stage [99].
**SFT의 장단점**. Supervised Fine-tuning (SFT)는 다양한 벤치마크에서 Large Language Models (LLMs)의 성능을 향상시키는 데 효과적인 접근 방식으로 나타났으며[67, 69, 137, 138], 이를 통해 작업 일반화 능력을 크게 향상시키고 특정 기능(예: 챗봇의 신원 설정)을 유연하게 부여할 수 있습니다. SFT의 유용성에 대한 자세한 논의는 섹션 5.1.3에서 확인할 수 있습니다. SFT는 주로 능력을 '잠금 해제'하는 것이지 LLM에 새로운 능력을 '주입'하는 것이 아니라는 점이 널리 알려져 있습니다. 따라서 SLM이 알려지지 않은 사실에 대한 질문에 답하도록 LLM을 훈련하는 것과 같이, SFT를 통해 LLM의 비내생적 능력을 자극하려고 할 때 문제가 될 수 있습니다. 구체적인 시나리오로, 데모 데이터가 LLM의 지식이나 능력 범위를 넘어서는 경우, 즉, Hallucination 행동을 촉진할 수 있습니다. 존 슐만의 Reinforcement Learning from Human Feedback (RLHF)에 대한 강연에서 흥미로운 관점은 덜 유능한 모델을 훈련하기 위해 우수한 모델을 증류하는 것(예: GPT-4가 Fine-tuning 데이터로 응답을 생성하도록 프롬프트)이 환각적인 텍스트를 생성할 가능성을 높여 LLM의 사실 정확성에 영향을 미칠 수 있다는 것입니다. 또한, 행동 복제 방법으로서 SFT는 데모 데이터를 구성하는 전문가의 행동(탐색 없이)을 모방하는 것을 목표로 합니다. 그러나 데모 데이터의 작성 스타일, 품질 및 선호도에 대해서는 주관자마다 차이가 있는 경우가 많으며, 이는 SFT의 학습 성능에 영향을 미치는 경향이 있습니다. 따라서 고품질의 Instruction 데이터(수량이 아닌)는 SFT 단계에서 LLM의 효과적인 훈련을 위한 주요 요소입니다[99].
**SFT의 장단점**. SFT는 다양한 벤치마크에서 LLM의 성능을 향상시키는 데 효과적인 접근 방식으로 나타났으며[67, 69, 137, 138], 이를 통해 작업 일반화 능력을 크게 향상시키고 특정 기능(예: 챗봇의 신원 설정)을 유연하게 부여할 수 있습니다. SFT의 유용성에 대한 자세한 논의는 섹션 5.1.3에서 확인할 수 있습니다. SFT는 주로 능력을 '잠금 해제'하는 것이지 LLM에 새로운 능력을 '주입'하는 것이 아니라는 점이 널리 알려져 있습니다. 따라서 SLM이 알려지지 않은 사실에 대한 질문에 답하도록 LLM을 훈련하는 것과 같이, SFT를 통해 LLM의 비내생적 능력을 자극하려고 할 때 문제가 될 수 있습니다. 구체적인 시나리오로, 데모 데이터가 LLM의 지식이나 능력 범위를 넘어서는 경우, 즉, 홀루시네이션 행동을 촉진할 수 있습니다. 존 슐만의 RLHF에 대한 강연에서 흥미로운 관점은 덜 유능한 모델을 훈련하기 위해 우수한 모델을 증류하는 것(예: GPT-4가 미세 조정 데이터로 응답을 생성하도록 프롬프트)이 환각적인 텍스트를 생성할 가능성을 높여 LLM의 사실 정확성에 영향을 미칠 수 있다는 것입니다. 또한, 행동 복제 방법으로서 SFT는 데모 데이터를 구성하는 전문가의 행동(탐색 없이)을 모방하는 것을 목표로 합니다. 그러나 데모 데이터의 작성 스타일, 품질 및 선호도에 대해서는 주관자마다 차이가 있는 경우가 많으며, 이는 SFT의 학습 성능에 영향을 미치는 경향이 있습니다. 따라서 고품질의 지침 데이터(수량이 아닌)는 SFT 단계에서 LLM의 효과적인 훈련을 위한 주요 요소입니다[99].