Factuality.AI systems may generate information or responses that are not grounded in factual knowledge or data, leading to the creation of misleading or false content, formally known as _hallucination_(Ji et al., 2023). Factuality evaluation aims to ensure the consistency of the knowledge in the AI system's output with the knowledge provided by its training data and knowledge base (Ji et al., 2023; Zhang et al., 2023c). Early statistical-based hallucination evaluation methods relied on n-grams to directly calculate the overlap of vocabulary between the input and output content (Dhingra et al., 2019; Wang et al., 2020). However, these methods have limitations, as they only consider lexical overlap and do not account for semantics or sentence meaning (Ji et al., 2023), making them unsuitable for evaluating more complex forms of hallucination. Subsequent assurance methods shifted from statistical approaches to model-based methods, which are more robust compared to token-difference-based methods (Honovich et al., 2021). While these model-based evaluation methods are more advanced than their predecessors, they still have limitations. For example, the models can only output the degree of hallucination and may struggle to pinpoint specific errors (Falke et al., 2019). Feng et al. (2023a) propose to combine LLMs generation with random walks on knowledge graphs to generate synthetic evaluation data for factuality, which is aware of entities and relations on the graphs. Wei et al. (2024) created a synthetic dataset called LongFact for long-form factuality evaluation and used Google Search as the grounding source and LLM for the automated judgement, to achieve human-level accuracy but with significantly lower cost (Min et al., 2023).
사실성. AI 시스템은 사실적인 지식이나 데이터에 근거하지 않은 정보나 응답을 생성하여 오해의 소지가 있거나 잘못된 콘텐츠를 생성할 수 있으며, 공식적으로 _hallucination_(Ji et al., 2023)으로 알려져 있습니다. 사실성 평가는 AI 시스템의 출력에 포함된 지식이 학습 데이터 및 지식창고에서 제공한 지식과 일관성을 유지하는 것을 목표로 합니다(Ji et al., 2023; Zhang et al., 2023c). 초기의 통계 기반 hallucination 평가 방법은 n-그램에 의존하여 입력 콘텐츠와 출력 콘텐츠 간의 어휘 중복을 직접 계산했습니다(Dhingra et al., 2019; Wang et al., 2020). 그러나 이러한 방법은 어휘 중복만 고려하고 의미론이나 문장 의미를 고려하지 않기 때문에(Ji et al., 2023) 보다 복잡한 형태의 hallucination을 평가하는 데는 적합하지 않다는 한계가 있습니다. 이후 보증 방법은 통계적 접근 방식에서 토큰 차이 기반 방법에 비해 더 강력한 모델 기반 방법으로 전환했습니다(Honovich et al., 2021). 이러한 모델 기반 평가 방법은 이전 방법보다 고급화되었지만 여전히 한계가 있습니다. 예를 들어, 모델은 hallucination의 정도만 출력할 수 있으며 특정 오류를 정확히 찾아내는 데 어려움을 겪을 수 있습니다(Falke et al., 2019). Feng et al. (2023a)은 LLM 생성과 지식 그래프에서의 랜덤 워크를 결합하여 그래프의 엔티티와 관계를 인식하는 사실성을 위한 합성 평가 데이터를 생성할 것을 제안합니다. Wei et al. (2024)은 장문 사실성 평가를 위해 LongFact라는 합성 데이터 세트를 만들고, 그라운딩 소스와 자동 판단을 위한 LLM으로 Google 검색을 사용하여 인간 수준의 정확도를 달성했지만 비용은 훨씬 낮았습니다(Min et al., 2023).
사실성.AI 시스템은 사실적인 지식이나 데이터에 근거하지 않은 정보나 응답을 생성하여 오해의 소지가 있거나 잘못된 콘텐츠를 생성할 수 있으며, 공식적으로 _환각_(Ji et al., 2023)으로 알려져 있습니다. 사실성 평가는 AI 시스템의 출력에 포함된 지식이 학습 데이터 및 지식창고에서 제공한 지식과 일관성을 유지하는 것을 목표로 합니다(Ji et al., 2023; Zhang et al., 2023c). 초기의 통계 기반 환각 평가 방법은 n-그램에 의존하여 입력 콘텐츠와 출력 콘텐츠 간의 어휘 중복을 직접 계산했습니다(Dhingra et al., 2019; Wang et al., 2020). 그러나 이러한 방법은 어휘 중복만 고려하고 의미론이나 문장 의미를 고려하지 않기 때문에(Ji et al., 2023) 보다 복잡한 형태의 환각을 평가하는 데는 적합하지 않다는 한계가 있습니다. 이후 보증 방법은 통계적 접근 방식에서 토큰 차이 기반 방법에 비해 더 강력한 모델 기반 방법으로 전환했습니다(Honovich et al., 2021). 이러한 모델 기반 평가 방법은 이전 방법보다 고급화되었지만 여전히 한계가 있습니다. 예를 들어, 모델은 환각의 정도만 출력할 수 있으며 특정 오류를 정확히 찾아내는 데 어려움을 겪을 수 있습니다(Falke et al., 2019). Feng et al. (2023a)은 LLM 생성과 지식 그래프에서의 랜덤 워크를 결합하여 그래프의 엔티티와 관계를 인식하는 사실성을 위한 합성 평가 데이터를 생성할 것을 제안합니다. Wei et al. (2024)은 장문 사실성 평가를 위해 LongFact라는 합성 데이터 세트를 만들고, 그라운딩 소스와 자동 판단을 위한 LLM으로 Google 검색을 사용하여 인간 수준의 정확도를 달성했지만 비용은 훨씬 낮았습니다(Min et al., 2023).