Outside of the context of language, learning policies from preferences has been studied in both bandit and reinforcement learning settings, and several approaches have been proposed. Contextual bandit learning using preferences or rankings of actions, rather than rewards, is known as a contextual dueling bandit (CDB; [48; 14]). In the absence of absolute rewards, theoretical analysis of CDBs substitutes the notion of an optimal policy with a _von Neumann winner_, a policy whose expected win rate against _any_ other policy is at least 50% [14]. However, in the CDB setting, preference labels are given online, while in learning from human preferences, we typically learn from a fixed batch of offline preference-annotated action pairs [47]. Similarly, _preference-based RL_ (PbRL) learns from binary preferences generated by an _unknown_'scoring' function rather than rewards [9; 35]. Various algorithms for PbRL exist, including methods that can reuse off-policy preference data, but generally involve first explicitly estimating the latent scoring function (i.e. the reward model) and subsequently optimizing it [16; 9; 12; 34; 19]. We instead present a single stage policy learning approach that directly optimizes a policy to satisfy preferences.
언어의 맥락에서 벗어나 선호도에서 정책을 학습하는 것은 bandit 및 Reinforcement Learning 환경에서 연구되어 왔으며, 여러 가지 접근 방식이 제안되었습니다. 보상이 아닌 행동의 선호도 또는 순위를 사용하는 contextual bandit 학습을 contextual dueling bandit (CDB; [48; 14])라고 합니다. 절대적인 보상이 없는 경우, CDB에 대한 이론적 분석은 최적의 정책 개념을 _von Neumann winner_로 대체하며, 이는 _다른 정책에 대한 기대 승률이 최소 50%인 정책입니다[14]. 그러나 CDB 설정에서는 선호도 레이블이 온라인으로 제공되는 반면, 사람의 선호도를 학습하는 경우 일반적으로 오프라인 선호도가 주어진 고정된 일괄 작업에서 학습합니다[47]. 마찬가지로, _preference-based RL_ (PbRL)은 보상이 아닌 _알 수 없는_'점수' 함수에 의해 생성된 이진 선호도를 학습합니다[9; 35]. off-policy 선호도 데이터를 재사용할 수 있는 방법을 포함하여 다양한 PbRL 알고리즘이 존재하지만, 일반적으로 잠재 점수 함수(즉, 보상 모델)를 명시적으로 추정한 다음 이를 최적화하는 과정을 포함합니다[16; 9; 12; 34; 19]. 대신 선호도를 만족하도록 정책을 직접 최적화하는 단일 단계 정책 학습 접근 방식을 제시합니다.
언어의 맥락에서 벗어나 선호도에서 정책을 학습하는 것은 밴디트 및 강화 학습 환경에서 연구되어 왔으며, 여러 가지 접근 방식이 제안되었습니다. 보상이 아닌 행동의 선호도 또는 순위를 사용하는 컨텍스트 밴디트 학습을 컨텍스트 듀얼링 밴디트(CDB; [48; 14])라고 합니다. 절대적인 보상이 없는 경우, CDB에 대한 이론적 분석은 최적의 정책 개념을 _폰 노이만 승자_로 대체하며, 이는 _다른 정책에 대한 기대 승률이 최소 50%인 정책입니다[14]. 그러나 CDB 설정에서는 선호도 레이블이 온라인으로 제공되는 반면, 사람의 선호도를 학습하는 경우 일반적으로 오프라인 선호도가 주어진 고정된 일괄 작업에서 학습합니다[47]. 마찬가지로, _선호도 기반 RL_(PbRL)은 보상이 아닌 _알 수 없는_'점수' 함수에 의해 생성된 이진 선호도를 학습합니다[9; 35]. 오프폴리시 선호도 데이터를 재사용할 수 있는 방법을 포함하여 다양한 PbRL 알고리즘이 존재하지만, 일반적으로 잠재 점수 함수(즉, 보상 모델)를 명시적으로 추정한 다음 이를 최적화하는 과정을 포함합니다[16; 9; 12; 34; 19]. 대신 선호도를 만족하도록 정책을 직접 최적화하는 단일 단계 정책 학습 접근 방식을 제시합니다.