\(\bullet\)_Auxiliary optimization objectives._ Besides the primary cross-entropy loss, several studies propose auxiliary training loss to enhance the learning from the alignment data. First, since the responses of each instruction can be scored by the reward model, the ranking loss can be used to train the model to preserve the ranking order of these responses. For example, RRHF [390] samples responses from multiple sources, including model-generated responses, such as those derived from the model itself, ChatGPT, and GPT-4, as well as human-written responses, spanning both high-quality and low-quality instances. To align with the scores from reward models, it further optimizes the ranking loss by encouraging the model to have a higher conditional log probability for the response with a higher ranking. SLiCPF [391] proposes to assess the similarity between model outputs and human preference via the distance in the latent space, and introduces specific calibration and regularization loss to calibrate the candidate sequences based on human-preference data. Second, to enhance the relatedness between the response and the instruction, some work adopts contrastive learning to push up the probability of correct instruction-response pairs while pushing down incorrect instruction-response pairs. Specifically, for an output response, the proposed approach in [392] contrasts the target instruction to the other irrelevant instructions. By doing so, it can enable the model to learn the right correlation between instructions and responses.
\(\bullet\)_Auxiliary optimization objectives._ 기본 cross-entropy loss 외에도 여러 연구에서 정렬 데이터로부터의 학습을 향상시키기 위해 보조 훈련 loss를 제안합니다. 첫째, 각 instruction에 대한 응답은 보상 모델에 의해 점수를 매길 수 있으므로 ranking loss를 사용하여 모델이 이러한 응답의 순위 순서를 유지하도록 훈련할 수 있습니다. 예를 들어, RRHF [390]는 모델 자체에서 파생된 모델 생성 응답, ChatGPT, GPT-4 등의 모델 생성 응답과 고품질 및 저품질 인스턴스에 걸쳐 사람이 작성한 응답을 포함한 여러 소스의 응답을 샘플링합니다. 보상 모델의 점수와 일치하도록 모델이 더 높은 순위를 가진 응답에 대해 조건부 로그 확률을 높이도록 장려하여 ranking loss를 추가로 최적화합니다. SLiCPF [391]는 잠재 공간의 거리를 통해 모델 출력과 사람의 선호도 간의 유사성을 평가하고, 사람의 선호도 데이터를 기반으로 후보 시퀀스를 보정하기 위해 특정 보정 및 정규화 loss를 도입합니다. 둘째, 응답과 instruction 간의 관련성을 강화하기 위해 일부 작업에서는 contrastive learning을 채택하여 올바른 instruction-response 쌍의 확률을 높이고 잘못된 instruction-response 쌍의 확률을 낮추고 있습니다. 구체적으로, [392]에서 제안된 접근 방식은 출력된 응답에 대해 대상 instruction을 다른 관련 없는 instruction과 대조합니다. 이를 통해 모델이 instruction과 응답 간의 올바른 상관관계를 학습할 수 있습니다.
\(\bullet\)_보조 최적화 목표._ 기본 교차 엔트로피 손실 외에도 여러 연구에서 정렬 데이터로부터의 학습을 향상시키기 위해 보조 훈련 손실을 제안합니다. 첫째, 각 명령에 대한 응답은 보상 모델에 의해 점수를 매길 수 있으므로 순위 손실을 사용하여 모델이 이러한 응답의 순위 순서를 유지하도록 훈련할 수 있습니다. 예를 들어, RRHF [390]는 모델 자체에서 파생된 모델 생성 응답, ChatGPT, GPT-4 등의 모델 생성 응답과 고품질 및 저품질 인스턴스에 걸쳐 사람이 작성한 응답을 포함한 여러 소스의 응답을 샘플링합니다. 보상 모델의 점수와 일치하도록 모델이 더 높은 순위를 가진 응답에 대해 조건부 로그 확률을 높이도록 장려하여 순위 손실을 추가로 최적화합니다. SLiCPF [391]는 잠재 공간의 거리를 통해 모델 출력과 사람의 선호도 간의 유사성을 평가하고, 사람의 선호도 데이터를 기반으로 후보 시퀀스를 보정하기 위해 특정 보정 및 정규화 손실을 도입합니다. 둘째, 응답과 명령어 간의 관련성을 강화하기 위해 일부 작업에서는 대조 학습을 채택하여 올바른 명령어-응답어 쌍의 확률을 높이고 잘못된 명령어-응답어 쌍의 확률을 낮추고 있습니다. 구체적으로, [392]에서 제안된 접근 방식은 출력된 응답에 대해 대상 명령어를 다른 관련 없는 명령어와 대조합니다. 이를 통해 모델이 명령어와 응답 간의 올바른 상관관계를 학습할 수 있습니다.