Post-training.Our models went through post-training with both supervised instruction fine-tuning, and preference tuning with DPO. We have worked on generating and curating various instruction and preference data. This has improved the model chat capabilities, robustness, as well as its safety.
훈련 후. 모델은 supervised Instruction Fine-tuning과 DPO를 사용한 선호도 조정을 통해 post-training을 거쳤습니다. 다양한 Instruction 및 선호도 데이터를 생성하고 큐레이션하는 작업을 수행했습니다. 이를 통해 모델의 채팅 기능, Robustness 및 안전성이 향상되었습니다.
훈련 후.모델은 지도 지시 미세 조정과 DPO를 사용한 선호도 조정을 통해 사후 훈련을 거쳤습니다. 다양한 지침 및 선호도 데이터를 생성하고 큐레이션하는 작업을 수행했습니다. 이를 통해 모델의 채팅 기능, 견고성 및 안전성이 향상되었습니다.