Mitigating hallucination.Many widely-used language models utilize supervised finetuning (SFT) to learn to align their interactions with users (Wang et al., 2022b; Zhang et al., 2023b). In particular, there exist many methods of generating synthetic SFT data that can improve capabilities such as reasoning and alignment (Wei et al., 2023a,b). It has been shown, however, that these synthetic data can induce hallucinations into language models by containing nontrivial amounts of hallucinated answers or by forcing models to learn to answer questions that they do not know the answer to (Zhang et al., 2023c). These cases demonstrate that synthetic data, if not applied correctly, can actually increase hallucinations in language models.
환각 완화. 많은 널리 사용되는 언어 모델은 사용자와의 상호작용을 조정하는 방법을 학습하기 위해 Supervised Fine-tuning (SFT)을 활용합니다(Wang et al., 2022b; Zhang et al., 2023b). 특히 추론 및 정렬과 같은 기능을 개선할 수 있는 합성 SFT 데이터를 생성하는 방법이 많이 있습니다(Wei et al., 2023a,b). 그러나 이러한 합성 데이터는 비 사소한 양의 환각 답변을 포함하거나 모델이 답을 모르는 질문에 답하도록 학습하도록 강제함으로써 언어 모델에 환각을 유도할 수 있는 것으로 나타났습니다(Zhang et al., 2023c). 이러한 사례는 합성 데이터가 올바르게 적용되지 않으면 언어 모델에서 환각을 실제로 증가시킬 수 있음을 보여줍니다.
환각 완화.많은 널리 사용되는 언어 모델은 사용자와의 상호작용을 조정하는 방법을 학습하기 위해 지도 미세 조정(SFT)을 활용합니다(Wang et al., 2022b; Zhang et al., 2023b). 특히 추론 및 정렬과 같은 기능을 개선할 수 있는 합성 SFT 데이터를 생성하는 방법이 많이 있습니다(Wei et al., 2023a,b). 그러나 이러한 합성 데이터는 비 사소한 양의 환각 답변을 포함하거나 모델이 답을 모르는 질문에 답하도록 학습하도록 강제함으로써 언어 모델에 환각을 유도할 수 있는 것으로 나타났습니다(Zhang et al., 2023c). 이러한 사례는 합성 데이터가 올바르게 적용되지 않으면 언어 모델에서 환각을 실제로 증가시킬 수 있음을 보여줍니다.