\(\bullet\)_Instruction following_. By fine-tuning with a mixture of multi-task datasets formatted via natural language descriptions (called _instruction tuning_), LLMs are shown to perform well on unseen tasks that are also described in the form of instructions [28, 66, 67]. With instruction tuning, LLMs are enabled to follow the task instructions for new tasks without using explicit examples, thus having an improved generalization ability. According to the experiments in [67], instruction-tuned LaMDA-PT [68] started to significantly outperform the untuned one on unseen tasks when the model size reached 68B, but not for 8B or smaller model sizes. A recent study [69] found that a model size of 62B is at least required for PaLM to perform well on various tasks in four evaluation benchmarks (_i.e._, MMLU, BBH, TyDiQA and MGSM), though a much smaller size might suffice for some specific tasks (_e.g._, MMLU).
\(\bullet\)_Instruction following_. 자연어 설명을 통해 형식화된 다중 작업 데이터셋을 혼합하여 미세 조정(instruction tuning)함으로써, LLMs는 지시 형태로 설명된 보지 못한 작업에서도 우수한 성능을 보이는 것으로 나타났습니다 [28, 66, 67]. Instruction tuning을 통해, LLMs는 명시적인 예시를 사용하지 않고도 새로운 작업에 대한 지시를 따를 수 있게 되어 일반화 능력이 향상됩니다. [67]의 실험에 따르면, instruction-tuned LaMDA-PT [68]는 모델 크기가 68B에 도달했을 때 보지 못한 작업에서 미세 조정되지 않은 모델을 크게 능가하기 시작했지만, 8B 이하의 모델 크기에서는 그렇지 않았습니다. 최근 연구 [69]에서는 PaLM이 네 가지 평가 벤치마크(MMLU, BBH, TyDiQA 및 MGSM)에서 다양한 작업을 잘 수행하려면 최소한 62B의 모델 크기가 필요하다는 것을 발견했지만, 특정 작업(MMLU 등)에서는 훨씬 작은 크기로도 충분할 수 있습니다.
\(\bullet\)_명령어 따라하기_. 자연어 설명을 통해 형식화된 멀티태스크 데이터 세트를 혼합하여 미세 조정함으로써(명령어 튜닝이라고 함), LLM은 자연어 설명 형식으로 설명된 미리 보지 못한 작업도 잘 수행하는 것으로 나타났습니다[28, 66, 67]. 명령어 튜닝을 통해 LLM은 명시적인 예제를 사용하지 않고도 새로운 작업에 대한 작업 지침을 따를 수 있게 되어 일반화 능력이 향상되었습니다. [67]의 실험에 따르면, 명령어로 튜닝된 LaMDA-PT [68]는 모델 크기가 68B에 도달했을 때 미튜닝된 모델보다 보이지 않는 작업에서 크게 뛰어난 성능을 발휘하기 시작했지만 8B 이하의 모델 크기에서는 그렇지 않았습니다. 최근 연구 [69]에 따르면, PaLM이 네 가지 평가 벤치마크(_즉, MMLU, BBH, TyDiQA 및 MGSM)의 다양한 작업을 잘 수행하려면 최소 62B의 모델 크기가 필요하지만, 일부 특정 작업(예: MMLU)의 경우 훨씬 작은 크기로도 충분할 수 있습니다.