**FLAN:** In [78], Wei et al. explored a simple method for improving the zero-shot learning abilities of language models. They showed that instruction tuning language models on a collection of datasets described via instructions substantially improves zero-shot performance on unseen tasks. They take a 137B parameter pretrained language model and instruction tune it on over 60 NLP datasets verbalized via natural language instruction templates. They call this instruction-tuned model FLAN. Fig 15 provides a comparison of instruction tuning with pretrain-finetune and prompting.
**FLAN:** [78]에서 Wei 등은 언어 모델의 zero-shot 학습 능력을 향상시키는 간단한 방법을 연구했습니다. 그들은 Instruction Tuning 언어 모델을 다양한 데이터 세트 모음에 대해 학습하면 보이지 않는 작업에서 zero-shot 성능이 크게 향상된다는 것을 보여주었습니다. 이들은 137B 파라미터의 사전 학습된 언어 모델을 자연어 Instruction 템플릿을 통해 구두로 설명된 60개 이상의 NLP 데이터 세트에 대해 Instruction Tuning합니다. 이 Instruction Tuning된 모델을 FLAN이라고 부릅니다. 그림 15는 Instruction Tuning과 pretrain-finetune 및 prompting을 비교한 것입니다.
**FLAN:** [78]에서 Wei 등은 언어 모델의 제로 샷 학습 능력을 향상시키는 간단한 방법을 연구했습니다. 그들은 자연어로 설명된 데이터 세트 모음에 대한 지침 조정 언어 모델을 학습하면 보이지 않는 작업에서 제로 샷 성능이 크게 향상된다는 것을 보여주었습니다. 이들은 137B 파라미터의 사전 학습된 언어 모델을 자연어 명령어 템플릿을 통해 구두로 설명된 60개 이상의 NLP 데이터 세트에 대해 지침 튜닝합니다. 이 지침 튜닝된 모델을 FLAN이라고 부릅니다. 그림 15는 지침 튜닝과 사전 학습-미세 조정 및 프롬프트를 비교한 것입니다.