**Supervised Alignment Tuning.** After obtaining alignment data, it is also key to design suitable fine-tuning strategies for direct alignment. A straightforward approach is to optimize LLMs using the conventional sequence-to-sequence objective based on the alignment data. In addition to the conventional optimization objective, several studies further explore auxiliary losses that enhance the learning from the alignment data.
**Supervised Alignment Tuning**. 정렬 데이터를 얻은 후에는 직접 정렬을 위한 적절한 Fine-tuning 전략을 설계하는 것도 중요합니다. 간단한 접근 방식은 정렬 데이터를 기반으로 기존의 시퀀스-투-시퀀스 Objective Function을 사용하여 LLM을 최적화하는 것입니다. 기존의 최적화 Objective Function 외에도 여러 연구에서 정렬 데이터의 학습을 향상시키는 보조 Loss를 추가로 탐색합니다.
**지도 정렬 튜닝**. 정렬 데이터를 얻은 후에는 직접 정렬을 위한 적절한 미세 조정 전략을 설계하는 것도 중요합니다. 간단한 접근 방식은 정렬 데이터를 기반으로 기존의 시퀀스-투-시퀀스 목적을 사용하여 LLM을 최적화하는 것입니다. 기존의 최적화 목적 외에도 여러 연구에서 정렬 데이터의 학습을 향상시키는 보조 손실을 추가로 탐색합니다.