On the other hand, recent work has also shown promising results in mitigating hallucinations using synthetic data. For example, GPT-4 (OpenAI, 2023) was trained using a reward model that leveraged synthetic hallucination data in order to perform reinforcement learning (Zhang et al.,2023c). This method resulted in a significant improvement in performance on the TruthfulQA (Lin et al., 2022) dataset (Zhang et al., 2023c). Similarly, Jones et al. (2023) designed a synthetic task where hallucinations can be readily evaluated, utilizing this task to optimize LIM outputs by learning a continuous postfix via prefix-tuning. Tian et al. (2023) uses automated fact-checking and confidence scores to rank factuality scores of model response pairs, which are then used to finetune language models with DPO (Rafailov et al., 2023) to improve their factuality. Continued research in using synthetic data to mitigate hallucinations is still limited, however, by the lack of synthetic tasks for which hallucinations can be scalably evaluated.
반면, 최근 연구에서는 합성 데이터를 사용하여 hallucinations을 완화하는 데 있어서도 유망한 결과를 보여주었습니다. 예를 들어, GPT-4(OpenAI, 2023)는 reinforcement learning을 수행하기 위해 합성 hallucination 데이터를 활용하는 reward model을 사용하여 훈련되었습니다(Zhang et al.,2023c). 이 방법은 TruthfulQA(Lin et al., 2022) 데이터 세트에서 상당한 성능 향상을 가져왔습니다(Zhang et al., 2023c). 마찬가지로 Jones et al. (2023)은 hallucinations을 쉽게 평가할 수 있는 합성 작업을 설계하여 prefix-tuning을 통해 연속 접미사를 학습하여 LIM 출력을 최적화하는 데 활용했습니다. Tian et al. (2023)은 automated fact-checking 및 confidence scores를 사용하여 모델 응답 쌍의 factuality scores를 순위화한 다음, 이를 사용하여 DPO(Rafailov et al., 2023)로 language models를 fine-tune하여 사실성을 개선합니다. hallucinations을 완화하기 위해 합성 데이터를 사용하는 연구는 계속 제한적이지만, hallucinations을 확장 가능하게 평가할 수 있는 합성 작업이 부족하기 때문에 제한적입니다.
반면, 최근 연구에서는 합성 데이터를 사용하여 환각을 완화하는 데 있어서도 유망한 결과를 보여주었습니다. 예를 들어, GPT-4(OpenAI, 2023)는 강화 학습을 수행하기 위해 합성 환각 데이터를 활용하는 보상 모델을 사용하여 훈련되었습니다(Zhang et al.,2023c). 이 방법은 TruthfulQA(Lin et al., 2022) 데이터 세트에서 상당한 성능 향상을 가져왔습니다(Zhang et al., 2023c). 마찬가지로 Jones et al. (2023)은 환각을 쉽게 평가할 수 있는 합성 작업을 설계하여 접두사 튜닝을 통해 연속 접미사를 학습하여 LIM 출력을 최적화하는 데 활용했습니다. Tian et al. (2023)은 자동화된 사실 확인 및 신뢰도 점수를 사용하여 모델 응답 쌍의 사실성 점수를 순위화한 다음, 이를 사용하여 DPO(Rafailov et al., 2023)로 언어 모델을 미세 조정하여 사실성을 개선합니다. 환각을 완화하기 위해 합성 데이터를 사용하는 연구는 계속 제한적이지만, 환각을 확장 가능하게 평가할 수 있는 합성 작업이 부족하기 때문에 제한적입니다.