Hallucination poses a fundamental challenge for LLMs, characterized by the models' tendency to produce false information with a high level of confidence. This challenge is not limited to LLMs alone but is also a significant concern in the domain of autonomous agents. For instance, in [186], it was observed that when confronted with simplistic instructions during code generation tasks, the agent may exhibit hallucinatory behavior. Hallucination can lead to serious consequences such as incorrect or misleading code, security risks, and ethical issues [186]. To mitigate this issue, incorporating human correction feedback directly into the iterative process of human-agent interaction presents a viable approach [23]. More discussions on the hallucination problem can be seen in [176].
환각은 LLMs의 근본적인 과제로, 모델이 높은 수준의 확신을 가지고 잘못된 정보를 생성하는 경향을 특징으로 합니다. 이 문제는 LLMs에만 국한된 것이 아니라 자율 에이전트 영역에서도 중요한 문제입니다. 예를 들어, [186]에서는 코드 생성 과제에서 단순한 instructions에 직면했을 때 에이전트가 환각적인 행동을 보일 수 있다는 사실을 발견했습니다. 환각은 잘못된 또는 오해의 소지가 있는 코드, 보안 위험, 윤리적 문제 등 심각한 결과를 초래할 수 있습니다[186]. 이 문제를 완화하기 위해 인간 교정 피드백을 인간과 에이전트의 상호 작용의 반복적인 과정에 직접 통합하는 것이 실행 가능한 접근 방식입니다[23]. 환각 문제에 대한 자세한 논의는 [176]에서 확인할 수 있습니다.
환각은 LLM의 근본적인 과제로, 모델이 높은 수준의 확신을 가지고 잘못된 정보를 생성하는 경향을 특징으로 합니다. 이 문제는 LLM에만 국한된 것이 아니라 자율 에이전트 영역에서도 중요한 문제입니다. 예를 들어, [186]에서는 코드 생성 과제에서 단순한 지침에 직면했을 때 에이전트가 환각적인 행동을 보일 수 있다는 사실을 발견했습니다. 환각은 잘못된 또는 오해의 소지가 있는 코드, 보안 위험, 윤리적 문제 등 심각한 결과를 초래할 수 있습니다[186]. 이 문제를 완화하기 위해 인간 교정 피드백을 인간과 에이전트의 상호 작용의 반복적인 과정에 직접 통합하는 것이 실행 가능한 접근 방식입니다[23]. 환각 문제에 대한 자세한 논의는 [176]에서 확인할 수 있습니다.