Large language models in some cases are hallucinating answers simply because they are next-token prediction machines. Hallucination is one of the important factors in measuring how much a large language model is trustworthy and reliable. Measuring hallucination on the other hand is also not easy as it seems because each fact can be written in different styles and even the smallest changes in writing make it hard to detect. It is fair to assume if any particular LLM is more capable to detect hallucination of false information in text, it is also more trustworthy. HaluEval is one of the datasets that aims to measure hallucination in this field [205]. Evaluation can also be performed by another model judging the response with regard to the actual answer [206]. Table X shows the evaluation of different models based on these datasets.
경우에 따라 Large Language Models (LLMs)은 다음 토큰 예측 기계이기 때문에 단순히 hallucination을 생성하기도 합니다. Hallucination은 LLM이 얼마나 신뢰할 수 있고 안정적인지 측정하는 데 있어 중요한 요소 중 하나입니다. 반면에 각 사실은 다양한 스타일로 작성될 수 있고 작은 글쓰기 변화도 감지하기 어렵기 때문에 hallucination을 측정하는 것도 쉽지 않습니다. 특정 LLM이 텍스트에서 잘못된 정보의 hallucination을 더 잘 감지할 수 있다면 더 신뢰할 수 있다고 가정하는 것이 타당합니다. HaluEval은 이 분야에서 hallucination을 측정하는 것을 목표로 하는 데이터 세트 중 하나입니다[205]. 평가는 실제 답변과 관련하여 응답을 판단하는 다른 모델에 의해 수행될 수도 있습니다[206]. 표 X는 이러한 데이터 세트를 기반으로 한 다양한 모델의 평가를 보여줍니다.
경우에 따라 대규모 언어 모델은 다음 토큰 예측 기계이기 때문에 단순히 홀루시네이션을 생성하기도 합니다. 환각은 대규모 언어 모델이 얼마나 신뢰할 수 있고 안정적인지 측정하는 데 있어 중요한 요소 중 하나입니다. 반면에 각 사실은 다양한 스타일로 작성될 수 있고 작은 글쓰기 변화도 감지하기 어렵기 때문에 환각을 측정하는 것도 쉽지 않습니다. 특정 LLM이 텍스트에서 잘못된 정보의 환각을 더 잘 감지할 수 있다면 더 신뢰할 수 있다고 가정하는 것이 타당합니다. HaluEval은 이 분야에서 환각을 측정하는 것을 목표로 하는 데이터 세트 중 하나입니다[205]. 평가는 실제 답변과 관련하여 응답을 판단하는 다른 모델에 의해 수행될 수도 있습니다[206]. 표 X는 이러한 데이터 세트를 기반으로 한 다양한 모델의 평가를 보여줍니다.