Language models also exhibit sycophantic behavior, where they "tend to mirror the user's stance, even if it means forgoing the presentation of an impartial or balanced viewpoint" [20]. Specifically, the AgentVerse paper describes how agents are susceptible to feedback from other agents, even if the feedback is not sound. This can lead the agent team to generate a faulty plan which diverts them from their objective [2]. Robust prompting can help mitigate this, but those developing agent applications should be aware of the risks when implementing user or agent feedback systems.
언어 모델은 또한 '공정하거나 균형 잡힌 관점을 제시하는 것을 포기하더라도 사용자의 입장을 반영하는 경향이 있는' sycophantic 행동을 보입니다[20]. 특히, AgentVerse 논문에서는 에이전트가 다른 에이전트의 피드백에 취약할 수 있으며, 그 피드백이 타당하지 않더라도 마찬가지라고 설명합니다. 이로 인해 에이전트 팀이 목표에서 벗어나는 잘못된 계획을 생성할 수 있습니다[2]. Robust prompting을 사용하면 이를 완화할 수 있지만, 에이전트 애플리케이션을 개발하는 사람은 사용자 또는 에이전트 피드백 시스템을 구현할 때 위험을 인식하고 있어야 합니다.
언어 모델은 또한 '공정하거나 균형 잡힌 관점을 제시하는 것을 포기하더라도 사용자의 입장을 반영하는 경향이 있는' 사이코판틱 행동을 보입니다[20]. 특히, 에이전트버스 논문에서는 에이전트가 다른 에이전트의 피드백에 취약할 수 있으며, 그 피드백이 타당하지 않더라도 마찬가지라고 설명합니다. 이로 인해 에이전트 팀이 목표에서 벗어나는 잘못된 계획을 생성할 수 있습니다[2]. 강력한 프롬프트를 사용하면 이를 완화할 수 있지만, 에이전트 애플리케이션을 개발하는 사람은 사용자 또는 에이전트 피드백 시스템을 구현할 때 위험을 인식하고 있어야 합니다.