Large unsupervised language models (LMs) trained on very large datasets acquire surprising capabilities [11; 7; 40; 8]. However, these models are trained on data generated by humans with a wide variety of goals, priorities, and skillsets. Some of these goals and skillsets may not be desirable to imitate; for example, while we may want our AI coding assistant to _understand_ common programming mistakes in order to correct them, nevertheless, when generating code, we would like to bias our model toward the (potentially rare) high-quality coding ability present in its training data. Similarly, we might want our language model to be _aware_ of a common misconception believed by 50% of people, but we certainly do not want the model to claim this misconception to be true in 50% of queries about it! In other words, selecting the model's _desired responses and behavior_ from its very wide _knowledge and abilities_ is crucial to building AI systems that are safe, performant, and controllable [26]. While existing methods typically steer LMs to match human preferences using reinforcement learning (RL),we will show that the RL-based objective used by existing methods can be optimized exactly with a simple binary cross-entropy objective, greatly simplifying the preference learning pipeline.
매우 방대한 데이터 세트에 대해 학습된 대규모 비지도 언어 모델(LMs)은 놀라운 기능을 습득합니다[11; 7; 40; 8]. 그러나 이러한 모델은 다양한 목표, 우선순위 및 스킬셋을 가진 사람들이 생성한 데이터에 대해 학습됩니다. 이러한 목표와 스킬셋 중 일부는 모방하기에 바람직하지 않을 수 있습니다. 예를 들어, AI 코딩 도우미가 프로그래밍 실수를 바로잡기 위해 일반적인 프로그래밍 실수를 _이해_하기를 원할 수는 있지만, 코드를 생성할 때는 훈련 데이터에 존재하는 (잠재적으로 드문) 고품질 코딩 능력에 모델을 편향시키고 싶을 것입니다. 마찬가지로 언어 모델이 사람들의 50%가 믿고 있는 일반적인 오해를 _인식_하기를 원할 수도 있지만, 모델이 이 오해를 50%의 쿼리에서 사실이라고 주장하는 것은 결코 원하지 않을 것입니다! 즉, 매우 넓은 _지식과 능력_에서 모델의 _원하는 응답과 행동_을 선택하는 것은 안전하고 성능이 뛰어나며 제어 가능한 AI 시스템을 구축하는 데 매우 중요합니다[26]. 기존 방법은 일반적으로 Reinforcement Learning (RL)을 사용하여 인간의 선호도에 맞게 모델을 조정하지만, 기존 방법에서 사용되는 RL 기반 Objective는 간단한 이진 교차 엔트로피 Objective로 정확하게 최적화할 수 있으므로 선호도 학습 파이프라인을 크게 단순화할 수 있습니다.
매우 방대한 데이터 세트에 대해 학습된 대규모 비지도 언어 모델(LM)은 놀라운 기능을 습득합니다[11; 7; 40; 8]. 그러나 이러한 모델은 다양한 목표, 우선순위 및 스킬셋을 가진 사람들이 생성한 데이터에 대해 학습됩니다. 이러한 목표와 스킬셋 중 일부는 모방하기에 바람직하지 않을 수 있습니다. 예를 들어, AI 코딩 도우미가 프로그래밍 실수를 바로잡기 위해 일반적인 프로그래밍 실수를 _이해_하기를 원할 수는 있지만, 코드를 생성할 때는 훈련 데이터에 존재하는 (잠재적으로 드문) 고품질 코딩 능력에 모델을 편향시키고 싶을 것입니다. 마찬가지로 언어 모델이 사람들의 50%가 믿고 있는 일반적인 오해를 _인식_하기를 원할 수도 있지만, 모델이 이 오해를 50%의 쿼리에서 사실이라고 주장하는 것은 결코 원하지 않을 것입니다! 즉, 매우 넓은 _지식과 능력_에서 모델의 _원하는 응답과 행동_을 선택하는 것은 안전하고 성능이 뛰어나며 제어 가능한 AI 시스템을 구축하는 데 매우 중요합니다[26]. 기존 방법은 일반적으로 강화 학습(RL)을 사용하여 인간의 선호도에 맞게 모델을 조정하지만, 기존 방법에서 사용되는 RL 기반 목표는 간단한 이진 교차 엔트로피 목표로 정확하게 최적화할 수 있으므로 선호도 학습 파이프라인을 크게 단순화할 수 있습니다.