Instruction Fine-Tuning.The primary objective of instruction fine-tuning in its early stages was to enhance the cross-task generalization capabilities of LMs. This was achieved by fine-tuning LMs with a substantial corpus of public NLP tasks. T5 [19] was among the first models to explore this approach, training on a multitude of supervised text-to-text tasks. Subsequent works such as FLAN [20], ExT5 [22], T0 [23], and UnifiedQA [25] further expanded the range of tasks to bolster the overall generalization ability of LMs. Notably, ZeroPrompt [24] and FLAN-T5 [21] pushed the envelope by incorporating thousands of tasks in their training pipelines. Across these studies, a consistent finding emerges: fine-tuning LMs with diverse NLP task instructions yields significant performance improvements when applied to new tasks.
Instruction Fine-Tuning. 초기 단계의 Instruction Fine-Tuning의 주요 목표는 LMs의 교차 작업 일반화 기능을 향상시키는 것이었습니다. 이는 대규모의 공개 NLP 작업 코퍼스로 LMs를 Fine-Tuning함으로써 달성되었습니다. T5 [19]는 이 접근 방식을 탐구한 최초의 모델 중 하나로, 다양한 지도 텍스트-텍스트 작업을 학습했습니다. 이후 FLAN [20], ExT5 [22], T0 [23], UnifiedQA [25]와 같은 연구에서는 작업 범위를 더욱 확장하여 LMs의 전반적인 일반화 능력을 강화했습니다. 특히 ZeroPrompt [24]와 FLAN-T5 [21]는 수천 개의 작업을 트레이닝 파이프라인에 통합하여 한계를 뛰어넘었습니다. 이러한 연구에서 일관된 결과가 나타났는데, 다양한 NLP 작업 지침으로 LMs를 Fine-Tuning하면 새로운 작업에 적용할 때 상당한 성능 향상을 가져온다는 것입니다.
명령 미세 조정.초기 단계의 명령 미세 조정의 주요 목표는 LM의 교차 작업 일반화 기능을 향상시키는 것이었습니다. 이는 대규모의 공개 NLP 작업 코퍼스로 LM을 미세 조정함으로써 달성되었습니다. T5 [19]는 이 접근 방식을 탐구한 최초의 모델 중 하나로, 다양한 지도 텍스트-텍스트 작업을 학습했습니다. 이후 FLAN [20], ExT5 [22], T0 [23], UnifiedQA [25]와 같은 연구에서는 작업 범위를 더욱 확장하여 LM의 전반적인 일반화 능력을 강화했습니다. 특히 ZeroPrompt [24]와 FLAN-T5 [21]는 수천 개의 작업을 트레이닝 파이프라인에 통합하여 한계를 뛰어넘었습니다. 이러한 연구에서 일관된 결과가 나타났는데, 다양한 NLP 작업 지침으로 LM을 미세 조정하면 새로운 작업에 적용할 때 상당한 성능 향상을 가져온다는 것입니다.