LLMs, trained on diverse datasets including the internet, books, and Wikipedia, generate text based on probabilistic models without an inherent understanding of truth or falsity. Recent advancements like instruct tuning and Reinforcement Learning from Human Feedback (RLHF) have attempted to steer LLMs towards more factual outputs, but the fundamental probabilistic nature and its inherent limitations remain. A recent study, "Sources of Hallucination by Large Language Models on Inference Tasks" [146], highlights two key aspects contributing to hallucinations in LLMs: the veracity prior and the relative frequency heuristic, underscoring the complexities inherent in LLM training and output generation.
인터넷, 책, 위키피디아 등 다양한 데이터 세트를 학습한 LLM은 진실이나 거짓에 대한 고유한 이해 없이 확률 모델을 기반으로 텍스트를 생성합니다. 최근의 Instruction Tuning 및 Reinforcement Learning from Human Feedback (RLHF)와 같은 발전은 LLM이 보다 사실에 가까운 결과물을 생성하도록 유도하려고 시도했지만, 근본적인 확률적 특성과 그에 따른 한계는 여전히 남아 있습니다. 최근 연구인 "추론 과제에서 대규모 언어 모델에 의한 환각의 원인" [146]에서는 환각을 일으키는 두 가지 주요 측면, 즉 진실성 선험과 상대적 빈도적 휴리스틱을 강조하며, LLM 훈련 및 출력 생성에 내재된 복잡성을 강조합니다.
인터넷, 책, 위키피디아 등 다양한 데이터 세트를 학습한 LLM은 진실이나 거짓에 대한 고유한 이해 없이 확률 모델을 기반으로 텍스트를 생성합니다. 최근의 지시 튜닝 및 RLHF(인간 피드백을 통한 강화 학습)와 같은 발전은 LLM이 보다 사실에 가까운 결과물을 생성하도록 유도하려고 시도했지만, 근본적인 확률적 특성과 그에 따른 한계는 여전히 남아 있습니다. 최근 연구인 "추론 과제에서 대규모 언어 모델에 의한 환각의 원인" [146]에서는 환각을 일으키는 두 가지 주요 측면, 즉 진실성 선험과 상대적 빈도적 휴리스틱을 강조하며, LLM 훈련 및 출력 생성에 내재된 복잡성을 강조합니다.