**Preference Datasets.** Our model incorporates a blend of publicly accessible datasets and synthetic data from the LLM. The open-source Chinese datasets consist of non-harmful and beneficial sections from _cvalues.rllf_, _comparison.gpt4_data_zh_ and _oast.rm_zh_ in LLama-factory (Zheng et al., 2024), huozi, and zhihu. For English, the dataset includes _comparison.gpt4_data_en_ from LLama-factory and beavertails (Ji et al., 2024). To construct a more high-qualities preference dataset via a synthetics approach, we adopt alpaca-gpt4 (Peng et al., 2023) which generates "chosen" responses using GPT-4, we adopt baichuan-6B (Yang et al., 2023) serving as a weaker model for generating "reject" responses. The dataset comprises 183k Chinese pairs and 46k English pairs in total.
**Preference Datasets.** 저희 모델에는 공개적으로 이용 가능한 데이터 세트와 LLM의 합성 데이터가 혼합되어 있습니다. 오픈 소스 중국 데이터 세트는 LLama-factory의 _cvalues.rllf_, _comparison.gpt4_data_zh_ 및 _oast.rm_zh_에서 유해하지 않고 유익한 섹션과 huozi, zhihu로 구성됩니다. 영어의 경우, 데이터 세트에는 LLama-factory의 _comparison.gpt4_data_en_과 beavertails(Ji et al., 2024)이 포함됩니다. 합성 접근 방식을 통해 더 높은 품질의 선호도 데이터 세트를 구성하기 위해 GPT-4를 사용하여 "선택한" 응답을 생성하는 alpaca-gpt4(Peng et al., 2023)를 채택하고, "거부" 응답을 생성하기 위한 약한 모델로 사용되는 baichuan-6B(Yang et al., 2023)를 채택합니다. 데이터 세트는 총 183k Chinese pairs와 46k English pairs로 구성됩니다.
**선호 데이터 세트.** 저희 모델에는 공개적으로 이용 가능한 데이터 세트와 LLM의 합성 데이터가 혼합되어 있습니다. 오픈 소스 중국 데이터 세트는 LLama-factory의 _cvalues.rllf_, _comparison.gpt4_data_zh_ 및 _oast.rm_zh_에서 유해하지 않고 유익한 섹션과 huozi, zhihu로 구성됩니다. 영어의 경우, 데이터 세트에는 LLama-factory의 _comparison.gpt4_data_en_과 비버테일(Ji et al., 2024)이 포함됩니다. 합성 접근 방식을 통해 더 높은 품질의 선호도 데이터 세트를 구성하기 위해 GPT-4를 사용하여 "선택한" 응답을 생성하는 alpaca-gpt4(Peng et al., 2023)를 채택하고, "거부" 응답을 생성하기 위한 약한 모델로 사용되는 baichuan-6B(Yang et al., 2023)를 채택합니다. 데이터 세트는 총 183,000쌍의 중국어와 46,000쌍의 영어로 구성됩니다.