Many language models are supervised finetuned to learn how to follow instructions, but in learning this behavior, they may inadvertently also learn to be _sycophantic_(Perez et al., 2023), tailoring their responses to follow a user's viewpoint, even if that viewpoint is not objectively correct (Wei et al., 2023b). Sharma et al. (2024) find evidence that the preference models (i.e., the reward model used for RLHF training) and even humans prefer sycophantic responses sometimes. On this front, Wei et al. (2023b) generates synthetic data to encourage models to be robust to user opinions and adds these data in a finetuning step to reduce sycophantic behavior on held-out prompts.
많은 언어 모델은 지시를 따르는 방법을 학습하기 위해 Supervised Fine-tuning을 받지만, 이러한 행동을 학습하는 과정에서 사용자의 관점을 따르도록 무의식적으로 반응을 조정하는 _sycophantic_(Perez et al., 2023)을 학습하는 경우도 있습니다. 이러한 관점이 객관적으로 옳지 않더라도(Wei et al., 2023b) Sharma et al. (2024)은 선호도 모델(즉, RLHF 훈련에 사용되는 보상 모델)과 심지어 인간도 때때로 sycophantic한 반응을 선호한다는 증거를 발견했습니다. 이와 관련하여 Wei et al. (2023b)은 합성 데이터를 생성하여 모델이 사용자 의견에 견고하도록 장려하고, 이러한 데이터를 Fine-tuning 단계에 추가하여 보류된 프롬프트에서 sycophantic 행동을 줄입니다.
많은 언어 모델은 지시를 따르는 방법을 학습하기 위해 지도 튜닝을 받지만, 이러한 행동을 학습하는 과정에서 사용자의 관점을 따르도록 무의식적으로 반응을 조정하는 _시코판틱_(Perez et al., 2023)을 학습하는 경우도 있습니다. 이러한 관점이 객관적으로 옳지 않더라도(Wei et al., 2023b) Sharma et al. (2024)은 선호도 모델(즉, RLHF 훈련에 사용되는 보상 모델)과 심지어 인간도 때때로 시코판틱한 반응을 선호한다는 증거를 발견했습니다. 이와 관련하여 Wei et al. (2023b)은 합성 데이터를 생성하여 모델이 사용자 의견에 견고하도록 장려하고, 이러한 데이터를 미세 조정 단계에 추가하여 보류된 프롬프트에서 시코판틱 행동을 줄입니다.