LLMs are now commonly used as parts of larger, more complex systems. It is crucial to understand how these models interact with information with varying degrees of trustworthiness, accuracy, and uniformity. Our analysis shows that further work is required to characterize the risks of using LLMs to answer questions given contextual information. In particular, we find that model behavior can be erratic and unpredictable when presented with information that exists at the margin of its prior beliefs.
LLMs는 이제 더 크고 복잡한 시스템의 일부로 일반적으로 사용됩니다. 이러한 모델이 신뢰성, 정확성, 일관성이 다양한 정보와 어떻게 상호작용하는지 이해하는 것이 중요합니다. 우리의 분석에 따르면, 맥락적 정보를 바탕으로 질문에 답하기 위해 LLM을 사용하는 것의 위험을 특성화하기 위해 추가적인 작업이 필요합니다. 특히, 모델이 이전 신념의 경계에 있는 정보를 접했을 때 그 행동이 불규칙하고 예측 불가능할 수 있음을 발견했습니다.
LLM은 이제 일반적으로 더 크고 복잡한 시스템의 일부로 사용됩니다. 이러한 모델이 신뢰도, 정확도 및 통일성이 다양한 정보와 상호 작용하는 방식을 이해하는 것이 중요합니다. 분석 결과, 문맥 정보가 주어진 질문에 LLM을 사용할 때 발생하는 위험을 특성화하기 위해서는 추가적인 연구가 필요하다는 것을 알 수 있었습니다. 특히, 모델이 이전 신념의 한계에 존재하는 정보를 제시받을 때 모델 동작이 불규칙하고 예측할 수 없다는 것을 발견했습니다.