\(\bullet\)_Primary training objective._ Since the alignment data typically consists of an input instruction and an output response, the primary training loss is still the traditional cross-entropy loss for sequence-to-sequence learning. Based on this loss, many studies propose a number of improvement variants for enhancing the supervised alignment tuning. For example, CoH [388] constructs the training data by prepending _"A helpful answer:"_ and _"An unhelpful answer:"_ to the annotated good and bad responses, respectively, and only compute losses for those response tokens with special masking. Quark [384] sorts model responses into different quantiles with varying alignment quality, it prepends a special reward token to each model response to represent the reward level of the response. Further, to enable the preference modeling via the maximum likelihood objective, DPO [389] first reparameterizes the response rewards using the policy model (_i.e._, the language model being optimized), and then the original reward modelling objective can be reformulated only based on the policy model. In this way, DPO removes the explicit reward modeling step, and optimizing the new learning objective only involving the policy model is equivalent to optimizing the rewards. Furthermore, FIGA [386] designs a fine-grained contrastive loss that aims to encourage desirable tokens, penalize undesirable ones, and disregard trivial tokens.
\(\bullet\)_Primary training objective._ 정렬 데이터는 일반적으로 입력 instruction과 출력 응답으로 구성되므로, Primary training loss는 여전히 시퀀스 대 시퀀스 학습을 위한 기존의 cross-entropy loss입니다. 이 loss를 기반으로 많은 연구에서 supervised alignment tuning을 향상시키기 위한 다양한 개선 변형을 제안합니다. 예를 들어, CoH [388]는 주석 처리된 좋은 응답과 나쁜 응답에 각각 _"도움이 되는 답변:"_ 및 _"도움이 되지 않는 답변:"_를 앞에 붙여 훈련 데이터를 구성하고, 특수 마스킹이 있는 응답 토큰에 대해서만 손실을 계산합니다. Quark [384]는 모델 응답을 정렬 품질이 다른 다양한 분위수로 정렬하고, 각 모델 응답에 특수 보상 토큰을 앞에 붙여 응답의 보상 수준을 나타냅니다. 또한 최대 가능성 objective를 통해 선호도 모델링을 가능하게 하기 위해 DPO [389]는 먼저 policy model(_즉, 최적화 중인 language model)을 사용하여 응답 보상을 재매개변수화한 다음, policy model만을 기반으로 원래의 reward modeling objective를 재구성할 수 있습니다. 이러한 방식으로 DPO는 명시적인 reward modeling 단계를 제거하고 policy model만 포함하는 새로운 학습 objective를 최적화하는 것은 보상을 최적화하는 것과 동일합니다. 또한, FIGA [386]는 바람직한 토큰을 장려하고 바람직하지 않은 토큰은 불이익을 주며 사소한 토큰은 무시하는 세분화된 contrastive loss를 설계했습니다.
\(\bullet\)_1차 훈련 목표._ 정렬 데이터는 일반적으로 입력 명령어와 출력 응답으로 구성되므로, 1차 훈련 손실은 여전히 시퀀스 대 시퀀스 학습을 위한 기존의 교차 엔트로피 손실입니다. 이 손실을 기반으로 많은 연구에서 지도 정렬 튜닝을 향상시키기 위한 다양한 개선 변형을 제안합니다. 예를 들어, CoH [388]는 주석 처리된 좋은 응답과 나쁜 응답에 각각 _"도움이 되는 답변:"_ 및 _"도움이 되지 않는 답변:"_를 앞에 붙여 훈련 데이터를 구성하고, 특수 마스킹이 있는 응답 토큰에 대해서만 손실을 계산합니다. Quark [384]는 모델 응답을 정렬 품질이 다른 다양한 분위수로 정렬하고, 각 모델 응답에 특수 보상 토큰을 앞에 붙여 응답의 보상 수준을 나타냅니다. 또한 최대 가능성 목표를 통해 선호도 모델링을 가능하게 하기 위해 DPO [389]는 먼저 정책 모델(_즉, 최적화 중인 언어 모델)을 사용하여 응답 보상을 재매개변수화한 다음, 정책 모델만을 기반으로 원래의 보상 모델링 목표를 재구성할 수 있습니다. 이러한 방식으로 DPO는 명시적인 보상 모델링 단계를 제거하고 정책 모델만 포함하는 새로운 학습 목표를 최적화하는 것은 보상을 최적화하는 것과 동일합니다. 또한, FIGA [386]는 바람직한 토큰을 장려하고 바람직하지 않은 토큰은 불이익을 주며 사소한 토큰은 무시하는 세분화된 대조 손실을 설계했습니다.