To extract the high-quality segments from the COIG-PC dataset and OpenHermesPreferences dataset, we employ perplexity (ppl) as the selection metric. Specifically, we use the Qwen-7B (Bai et al., 2023) model to compute the ppl for samples drawn from the SFT dataset. In our data filtering process for the SFT dataset, we retain only those entries with a perplexity score below 3,000 under Qwen-7B.
COIG-PC 데이터 세트와 OpenHermesPreferences 데이터 세트에서 고품질 세그먼트를 추출하기 위해 당사는 선택 지표로 Perplexity (ppl)를 사용합니다. 특히, SFT 데이터 세트에서 추출한 샘플에 대해 Qwen-7B(Bai et al., 2023) 모델을 사용하여 ppl을 계산합니다. SFT 데이터 세트에 대한 데이터 필터링 프로세스에서 당사는 Qwen-7B에서 Perplexity 점수가 3,000점 미만인 항목만 유지합니다.
COIG-PC 데이터 세트와 OpenHermesPreferences 데이터 세트에서 고품질 세그먼트를 추출하기 위해 당사는 선택 지표로 당혹도(ppl)를 사용합니다. 특히, SFT 데이터 세트에서 추출한 샘플에 대해 Qwen-7B(Bai et al., 2023) 모델을 사용하여 ppl을 계산합니다. SFT 데이터 세트에 대한 데이터 필터링 프로세스에서 당사는 Qwen-7B에서 당혹도 점수가 3,000점 미만인 항목만 유지합니다.