Assuming access to a static dataset of comparisons \(\mathcal{D}=\left\{x^{(}),y_{w}^{(i)},y_{l}^{(i)}\right\}_{i=1}^{N}\) sampled from \(p^{*}\), we can parametrize a reward model \(r_{\phi}(x,y)\) and estimate the parameters via maximum likelihood.
p^{*}\)에서 샘플링된 비교의 정적 데이터 집합 \(\mathcal{D}=\left\{x^{(}),y_{w}^{(i)},y_{l}^{(i)}\right\}_{i=1}^{N}\)에 대한 액세스를 가정하면, reward 모델 \(r_{\phi}(x,y)\)를 매개변수화하고 maximum likelihood를 통해 매개변수를 추정할 수 있다.
p^{*}\)에서 샘플링된 비교의 정적 데이터 집합 \(\mathcal{D}=\left\{x^{(}),y_{w}^{(i)},y_{l}^{(i)}\right\}_{i=1}^{N}\)에 대한 액세스를 가정하면, 보상 모델 \(r_{\phi}(x,y)\)를 매개변수화하고 최대 가능성을 통해 매개변수를 추정할 수 있다.