Apart from instruction tuning, it is important to construct high-quality datasets for aligning LLMs with human values and preferences (_e.g.,_ helpfulness, honesty, and harmlessness). In this section, we introduce several widely used datasets for alignment tuning, including HH-RLHF [170], SHP [177], PKU-SafeRLHF [181], Stack Exchange Preferences [178] and Sandbox Alignment Data [179]. We show their details in Table IV.
명령어 튜닝과는 별도로, LLM을 인간의 가치와 선호도(예: 유용성, 정직성, 무해성)에 맞추기 위해서는 고품질의 데이터셋을 구축하는 것이 중요합니다. 이 섹션에서는 alignment tuning에 널리 사용되는 몇 가지 데이터 세트(HH-RLHF [170], SHP [177], PKU-SafeRLHF [181], Stack Exchange Preferences [178] 및 Sandbox Alignment Data [179])를 소개합니다. 자세한 내용은 표 IV에 나와 있습니다.
명령어 튜닝과는 별도로, LLM을 인간의 가치와 선호도(예: 유용성, 정직성, 무해성)에 맞추기 위해서는 고품질의 데이터셋을 구축하는 것이 중요합니다. 이 섹션에서는 정렬 튜닝에 널리 사용되는 몇 가지 데이터 세트(HH-RLHF [170], SHP [177], PKU-SafeRLHF [181], Stack Exchange Preferences [178] 및 Sandbox Alignment Data [179])를 소개합니다. 자세한 내용은 표 IV에 나와 있습니다.