Our finetuning method significantly emphasizes data quality over quantity. Our approach does _not_ follow existing data-intensive approaches like FLAN [9] and UltraChat [19], which scales the SFT data to millions of entries but each of the entries may not been examined carefully because the scale is too large. In contrast, our method aligns with the LIMA [94] and DEITA [48] approach, which focus on data selection rather than scaling. With the scale being less than 10K, we are able to examine and optimize _every single data point_. Below we discuss our data construction and training details.
우리의 Fine-tuning 방법은 양보다 품질을 훨씬 더 강조합니다. 우리의 접근 방식은 수백만 개의 항목으로 Supervised Fine-tuning (SFT) 데이터를 확장하는 FLAN [9] 및 UltraChat [19]와 같은 기존의 데이터 집약적 접근 방식을 따르지 않지만, 규모가 너무 커서 각 항목을 신중하게 검토하지 않을 수 있습니다. 반면, 우리의 방법은 확장보다는 데이터 선택에 중점을 둔 LIMA [94] 및 DEITA [48] 접근 방식과 일치합니다. 10K 미만의 규모로 _모든 데이터 포인트_를 검토하고 최적화할 수 있습니다. 아래에서는 데이터 구성 및 훈련 세부 사항에 대해 설명합니다.
우리의 미세 조정 방법은 양보다 품질을 훨씬 더 강조합니다. 우리의 접근 방식은 수백만 개의 항목으로 SFT 데이터를 확장하는 FLAN [9] 및 UltraChat [19]와 같은 기존의 데이터 집약적 접근 방식을 따르지 않지만, 규모가 너무 커서 각 항목을 신중하게 검토하지 않을 수 있습니다. 반면, 우리의 방법은 확장보다는 데이터 선택에 중점을 둔 LIMA [94] 및 DEITA [48] 접근 방식과 일치합니다. 10K 미만의 규모로 _모든 데이터 포인트_를 검토하고 최적화할 수 있습니다. 아래에서는 데이터 구성 및 훈련 세부 사항에 대해 설명합니다.