The key takeaways from the Yi finetuning procedure is to heavily iterate on a small amount of data (\(\leq\) 10K), case by case, over multiple iterations, directly by the machine learning engineer, and improved from real user feedback. This approach clearly deviates from the instruction-scaling approach, initially introduced by the FLAN series [9] then followed by the UltraChat series [19].
Yi Fine-tuning 절차의 핵심은 소량의 데이터(\(\leq\) 10K)를 기계 학습 엔지니어가 직접 여러 번 반복하여 사례별로 반복하고 실제 사용자 피드백을 통해 개선하는 것입니다. 이 접근 방식은 FLAN 시리즈[9]와 UltraChat 시리즈[19]에서 처음 도입된 Instruction-scaling 접근 방식에서 분명히 벗어납니다.
Yi 미세 조정 절차의 핵심은 소량의 데이터(\(\leq\) 10K)를 기계 학습 엔지니어가 직접 여러 번 반복하여 사례별로 반복하고 실제 사용자 피드백을 통해 개선하는 것입니다. 이 접근 방식은 FLAN 시리즈[9]와 UltraChat 시리즈[19]에서 처음 도입된 명령어 스케일링 접근 방식에서 분명히 벗어납니다.