Some works focus on mitigating factual mistakes. He et al. (2023) introduces external knowledge to evaluate reasoning chains and votes to filter out chains that contain factual mistakes but without correcting them Wang et al. (2023) adopts a similar way, with the difference that it additionally introduces a reflection mechanism to correct low-scoring reasoning. Zhao et al. (2023) filters out low-confidence reasoning by consistency and guides models to re-reasoning based on relevant external knowledge. While the aforementioned methods work well on knowledge-intensive tasks, they fall short in addressing the challenge of contextual inconsistencies. Zhang et al. (2023) explores the hallucination snowballing phenomena during the reasoning process. Others aim to address the inconsistency issues. Radhakrishnan et al. (2023) observes that models are more faithful when dealing with simple questions. Thus, it improves faithfulness through question decomposition. Faithful CoT (Lyu et al., 2023) initially generates symbolic reasoning chains and later deterministically executes symbolic functions, mitigating reasoning inconsistencies. Lanham et al. (2023) explores the factors that influence faithfulness, which provides an empirical perspective. It finds faithfulness varies on different tasks and decreases as the model size increases. CoNLI (Lei et al., 2023) proposes a post-editing strategy to diminish the hallucinations. SynTra (Jones et al., 2023) performs prefix-tuning on a synthetic dataset designed to elicit hallucination easily, and then transfers this capability to real tasks.
일부 연구에서는 사실 오류를 완화하는 데 중점을 두고 있습니다. He 등(2023)은 추론 체인을 평가하고 사실 오류가 포함된 체인을 걸러내기 위해 외부 지식을 도입하지만 이를 수정하지는 않습니다. Wang 등(2023)은 유사한 방식을 채택하지만, 점수가 낮은 추론을 수정하기 위해 반영 메커니즘을 추가로 도입한다는 차이가 있습니다. Zhao 등(2023)은 일관성을 통해 신뢰도가 낮은 추론을 필터링하고 관련 외부 지식을 기반으로 모델이 다시 추론하도록 안내합니다. 앞서 언급한 방법은 지식 집약적인 작업에서 잘 작동하지만, 상황에 따른 불일치 문제를 해결하는 데는 부족합니다. Zhang 등(2023)은 추론 과정에서 hallucination snowballing 현상을 탐구합니다. 다른 연구들은 불일치 문제를 해결하는 것을 목표로 합니다. Radhakrishnan 등(2023)은 모델이 단순한 질문을 다룰 때 더 충실하다는 것을 관찰합니다. 따라서 질문 분해를 통해 충실도를 향상시킵니다. Faithful CoT(Lyu et al., 2023)는 처음에 기호 추론 체인을 생성한 다음 나중에 기호 함수를 결정론적으로 실행하여 추론 불일치를 완화합니다. Lanham 등(2023)은 충실도에 영향을 미치는 요인을 탐구하여 경험적 관점을 제공합니다. 이 연구는 충실도가 작업마다 다르며 모델 크기가 커질수록 충실도가 감소한다는 사실을 발견했습니다. CoNLI(Lei et al., 2023)는 hallucinations을 줄이기 위한 사후 편집 전략을 제안합니다. SynTra(Jones et al., 2023)는 hallucination을 쉽게 유발하도록 설계된 합성 데이터 세트에 대해 prefix-tuning을 수행한 다음 이 기능을 실제 작업에 전달합니다.
일부 연구에서는 사실 오류를 완화하는 데 중점을 두고 있습니다. He 등(2023)은 추론 체인을 평가하고 사실 오류가 포함된 체인을 걸러내기 위해 외부 지식을 도입하지만 이를 수정하지는 않습니다. Wang 등(2023)은 유사한 방식을 채택하지만, 점수가 낮은 추론을 수정하기 위해 반영 메커니즘을 추가로 도입한다는 차이가 있습니다. Zhao 등(2023)은 일관성을 통해 신뢰도가 낮은 추론을 필터링하고 관련 외부 지식을 기반으로 모델이 다시 추론하도록 안내합니다. 앞서 언급한 방법은 지식 집약적인 작업에서 잘 작동하지만, 상황에 따른 불일치 문제를 해결하는 데는 부족합니다. Zhang 등(2023)은 추론 과정에서 홀루시네이션 스노우볼링 현상을 탐구합니다. 다른 연구들은 불일치 문제를 해결하는 것을 목표로 합니다. Radhakrishnan 등(2023)은 모델이 단순한 질문을 다룰 때 더 충실하다는 것을 관찰합니다. 따라서 질문 분해를 통해 충실도를 향상시킵니다. Faithful CoT(Lyu et al., 2023)는 처음에 기호 추론 체인을 생성한 다음 나중에 기호 함수를 결정론적으로 실행하여 추론 불일치를 완화합니다. Lanham 등(2023)은 충실도에 영향을 미치는 요인을 탐구하여 경험적 관점을 제공합니다. 이 연구는 충실도가 작업마다 다르며 모델 크기가 커질수록 충실도가 감소한다는 사실을 발견했습니다. CoNLI(Lei et al., 2023)는 환각을 줄이기 위한 사후 편집 전략을 제안합니다. SynTra(Jones et al., 2023)는 환각을 쉽게 유발하도록 설계된 합성 데이터 세트에 대해 접두사 튜닝을 수행한 다음 이 기능을 실제 작업에 전달합니다.