Currently, more and more studies has begun to pay attention to the importance of data quality of instruction tuning. LIMA Zhou et al. (2023) only uses 1,000 high-quality instructions and outputs for SFT, and does not even need to perform RLHF training to achieve very strong performance. Alp-Gasus Chen et al. (2023) uses powerful LLM to automatically identify and filter low-quality data, resulting in high-quality instruction tuning data to improve performance and training speed. Humpback Li et al. (2023) filters out high-quality samples to fine-tune a more powerful LLM.
현재 Instruction Tuning의 데이터 품질에 대한 중요성에 주목하는 연구가 점점 더 많아지고 있습니다. LIMA Zhou 등(2023)은 Supervised Fine-tuning (SFT)에 1,000개의 고품질 instructions와 출력만 사용하며, RLHF 훈련을 수행할 필요도 없이 매우 강력한 성능을 달성합니다. Alp-Gasus Chen 등(2023)은 강력한 Large Language Models (LLMs)을 사용하여 품질이 낮은 데이터를 자동으로 식별하고 필터링하여 고품질 Instruction Tuning 데이터를 생성하여 성능과 훈련 속도를 향상시킵니다. Humpback Li 등(2023)은 고품질 샘플을 필터링하여 더 강력한 LLM을 Fine-tuning합니다.
현재 지침 튜닝의 데이터 품질에 대한 중요성에 주목하는 연구가 점점 더 많아지고 있습니다. LIMA Zhou 등(2023)은 SFT에 1,000개의 고품질 명령어와 출력만 사용하며, RLHF 훈련을 수행할 필요도 없이 매우 강력한 성능을 달성합니다. Alp-Gasus Chen 등(2023)은 강력한 LLM을 사용하여 품질이 낮은 데이터를 자동으로 식별하고 필터링하여 고품질 명령어 튜닝 데이터를 생성하여 성능과 훈련 속도를 향상시킵니다. 험백 Li 등(2023)은 고품질 샘플을 필터링하여 더 강력한 LLM을 미세 조정합니다.