\(\bullet\)_Hallucination._ In generating factual texts, a challenging issue is _hallucination generations_[661, 638], where the generated information is either in conflict with the existing source (_intrinsic hallucination_) or cannot be verified by the available source (_extrinsic hallucination_), which are illustrated by two examples in Figure 17. Hallucination widely occurs in existing LLMs, even the most superior LLMs such as GPT-4 [46]. Furthermore, existing work shows that LLMs encounter difficulties in recognizing the hallucinated content in text [602], even the powerful ChatGPT. Additionally, beyond language tasks, a recent study has shown that large vision-language models (LVLM) also face challenges with hallucination, _i.e._, generating objects that are not present in the accompanying images [662]. In essence, LLMs seem to "unconsciously" utilize the knowledge in task solving, which still lack an ability to accurately control the use of internal or external knowledge. Hallucinations would mislead LLMs to generate undesired outputs and mostly degrade the performance, leading to potential risks when deploying LLMs in real-world applications. To alleviate this problem, alignment tuning strategies (as discussed in Section 5.2) have been widely utilized in existing work [66], which rely on tuning LLMs on high-quality data or using human feedback. Moreover, the integration of external tools for the provision of credible information sources can help alleviate the hallucination issue [659, 81, 602]. Another line of research work leverages uncertainty estimation of LLMs to identify hallucinations [663, 664]. For instance, considering that hallucinated facts are prone to exhibit inconsistency across different sampled outputs, SelfCheckGPT [664] detects hallucination by measuring information inconsistency within sampled outputs. For the evaluation of the hallucination problem, a set of hallucination detection tasks have been proposed, _e.g._, TruthfulQA [556] for detecting human falsehood mimicked by models. More recently, HaluEval [602] creates a large-scale LLM-generated and human-annotated hallucinated samples to evaluate the ability of language models to recognize hallucination in both task-specific and general scenarios.
\(\bullet\)_Hallucination._ 사실적인 텍스트를 생성할 때, 생성된 정보가 기존 소스와 상충되거나(_intrinsic hallucination_) 또는 사용 가능한 소스에 의해 확인할 수 없는(_extrinsic hallucination_) [661, 638]의 경우, 그림 17의 두 예시에서 설명한 것처럼 hallucination 생성이라는 어려운 문제가 발생합니다. Hallucination은 기존 LLM에서 널리 발생하며, 심지어 GPT-4 [46]와 같은 최고급 LLM에서도 발생합니다. 또한 기존 연구에 따르면, 강력한 ChatGPT를 포함한 LLM은 텍스트에서 hallucinated 콘텐츠를 인식하는 데 어려움을 겪는 것으로 나타났습니다[602]. 또한 언어 작업을 넘어 최근 연구에 따르면 large vision-language models (LVLM)도 hallucination, 즉 동반 이미지에 존재하지 않는 객체를 생성하는 문제에 직면하고 있는 것으로 나타났습니다[662]. 본질적으로 LLM은 작업 해결에 있어 지식을 '무의식적으로' 활용하는 것으로 보이는데, 이는 여전히 내부 또는 외부 지식의 사용을 정확하게 제어하는 능력이 부족합니다. Hallucinations은 LLM이 원하지 않는 출력을 생성하도록 오도하고 대부분 성능을 저하시켜 실제 애플리케이션에 LLM을 배포할 때 잠재적인 위험을 초래할 수 있습니다. 이 문제를 완화하기 위해 기존 작업 [66]에서는 고품질 데이터에 대한 LLM tuning이나 인간 피드백을 사용하는 등의 alignment tuning 전략(5.2절에서 논의한 바와 같이)이 널리 활용되고 있습니다. 또한 신뢰할 수 있는 정보 소스를 제공하기 위한 외부 도구를 통합하면 hallucination 문제를 완화하는 데 도움이 될 수 있습니다[659, 81, 602]. 또 다른 연구 작업에서는 LLM의 불확실성 추정을 활용하여 hallucinations을 식별합니다[663, 664]. 예를 들어, hallucinated 사실은 샘플링된 여러 출력에서 일관성이 결여된 경향이 있다는 점을 고려하여 SelfCheckGPT [664]는 샘플링된 출력 내에서 정보 불일치를 측정하여 hallucination을 감지합니다. Hallucination 문제의 평가를 위해 모델이 모방한 인간의 허구를 감지하기 위한 TruthfulQA [556]와 같은 일련의 hallucination 감지 작업이 제안되었습니다. 최근에는 HaluEval [602]이 대규모 LLM 생성 및 인간이 주석을 달은 hallucinated 샘플을 생성하여 과제별 및 일반 시나리오에서 언어 모델이 hallucination을 인식하는 능력을 평가합니다.
\(\bullet\)_환각._ 사실적인 텍스트를 생성할 때, 생성된 정보가 기존 소스와 상충되거나(_내재적 환각_) 또는 사용 가능한 소스에 의해 확인할 수 없는(_외재적 환각_) [661, 638]의 경우, 그림 17의 두 예시에서 설명한 것처럼 환각 생성이라는 어려운 문제가 발생합니다. 환각은 기존 LLM에서 널리 발생하며, 심지어 GPT-4 [46]와 같은 최고급 LLM에서도 발생합니다. 또한 기존 연구에 따르면, 강력한 ChatGPT를 포함한 LLM은 텍스트에서 환각적인 콘텐츠를 인식하는 데 어려움을 겪는 것으로 나타났습니다[602]. 또한 언어 작업을 넘어 최근 연구에 따르면 대규모 비전 언어 모델(LVLM)도 환각, 즉 동반 이미지에 존재하지 않는 객체를 생성하는 문제에 직면하고 있는 것으로 나타났습니다[662]. 본질적으로 LLM은 작업 해결에 있어 지식을 '무의식적으로' 활용하는 것으로 보이는데, 이는 여전히 내부 또는 외부 지식의 사용을 정확하게 제어하는 능력이 부족합니다. 환각은 LLM이 원하지 않는 출력을 생성하도록 오도하고 대부분 성능을 저하시켜 실제 애플리케이션에 LLM을 배포할 때 잠재적인 위험을 초래할 수 있습니다. 이 문제를 완화하기 위해 기존 작업 [66]에서는 고품질 데이터에 대한 LLM 튜닝이나 인간 피드백을 사용하는 등의 정렬 튜닝 전략(5.2절에서 논의한 바와 같이)이 널리 활용되고 있습니다. 또한 신뢰할 수 있는 정보 소스를 제공하기 위한 외부 도구를 통합하면 환각 문제를 완화하는 데 도움이 될 수 있습니다[659, 81, 602]. 또 다른 연구 작업에서는 LLM의 불확실성 추정을 활용하여 환각을 식별합니다[663, 664]. 예를 들어, 환각적인 사실은 샘플링된 여러 출력에서 일관성이 결여된 경향이 있다는 점을 고려하여 SelfCheckGPT [664]는 샘플링된 출력 내에서 정보 불일치를 측정하여 환각을 감지합니다. 환각 문제의 평가를 위해 모델이 모방한 인간의 허구를 감지하기 위한 TruthfulQA [556]와 같은 일련의 환각 감지 작업이 제안되었습니다. 최근에는 HaluEval [602]이 대규모 LLM 생성 및 인간이 주석을 달은 환각 샘플을 생성하여 과제별 및 일반 시나리오에서 언어 모델이 환각을 인식하는 능력을 평가합니다.