Large Language Models For Instruction Fine-Tuning.The initial endeavors in instruction-following training work primarily focused on enhancing the language model's capacity for generalization across diverse tasks. This often involves the process of fine-tuning across substantially available Natural Language Processing datasets, and evaluates on the different NLP tasks. T5 [86] undertake the earliest attempts to train a range of NLP tasks, including Question and Answer, Document Summarization, and Sentiment Classification, by employing a consistent prompt format across all the data. Subsequently, instruction fine-tuning work such as FLAN [87], ExT5 [88], T0 [89], UnifiedQA [90], ZeroPrompt [91], and FLAN-T5 [92] emerged to adapt for a large number of downstream tasks. To address the challenge of misalignment between model outputs and human requirements, OpenAI manually annotates the instruction library to construct a diverse range of tasks. Simultaneously, Reinforcement Learning from Human Feedback technology is employed, which facilitate the rapid development of LLMs such as InstructGPT [2], ChatGPT\({}^{\ast}\), GPT-4 [3]. To reduce manual involvement, self-instruct [93] improves instruction-following through self-generated instructions. Alpaca [22] used a dataset of 50k instructions generated from a limited (e.g., 175 samples) seed set of manually-written instructions. Vicuna [23] used 70k user-shared conversations with ChatGPT collected from ShareGPT.com. Meanwhile, WizardLM [24] introduces the evol-instruct approach, which seeks to refine the existing instruction data by enhancing both its complexity and diversity.
명령어 Fine-tuning을 위한 대규모 언어 모델. 명령어 훈련 작업의 초기 노력은 주로 다양한 작업에서 언어 모델의 일반화 능력을 향상시키는 데 중점을 두었습니다. 여기에는 일반적으로 사용 가능한 자연어 처리 데이터 세트에 걸쳐 Fine-tuning하는 과정이 포함되며, 다양한 NLP 작업에 대해 평가합니다. T5 [86]는 모든 데이터에 일관된 프롬프트 형식을 사용하여 질문 및 답변, 문서 요약, 감정 분류 등 다양한 NLP 작업을 훈련하는 최초의 시도를 수행했습니다. 이후 FLAN [87], ExT5 [88], T0 [89], UnifiedQA [90], ZeroPrompt [91], FLAN-T5 [92]와 같은 Instruction Fine-tuning 작업이 등장하여 다수의 다운스트림 작업에 적응하기 시작했습니다. 모델 출력과 사람의 요구 사항 간의 정합성 문제를 해결하기 위해 OpenAI는 수동으로 Instruction 라이브러리를 주석 처리하여 다양한 작업을 구성합니다. 동시에 Reinforcement Learning from Human Feedback 기술을 사용하여 InstructGPT [2], ChatGPT\({}^{\ast}\), GPT-4 [3]와 같은 LLM을 빠르게 개발할 수 있게 되었습니다. 수동 작업을 줄이기 위해 self-instruct [93]는 자체 생성된 Instruction을 통해 Instruction 팔로잉을 개선합니다. Alpaca [22]는 수동으로 작성된 제한된(예: 175개 샘플) 시드 세트에서 생성된 5만 개의 Instruction 데이터 세트를 사용했습니다. Vicuna [23]는 ShareGPT.com에서 수집한 ChatGPT와의 7만 건의 사용자 공유 대화를 사용했습니다. 한편, WizardLM [24]은 복잡성과 다양성을 모두 향상시켜 기존 Instruction 데이터를 개선하는 evol-instruct 접근 방식을 도입했습니다.
명령어 미세 조정을 위한 대규모 언어 모델.명령어 훈련 작업의 초기 노력은 주로 다양한 작업에서 언어 모델의 일반화 능력을 향상시키는 데 중점을 두었습니다. 여기에는 일반적으로 사용 가능한 자연어 처리 데이터 세트에 걸쳐 미세 조정하는 과정이 포함되며, 다양한 NLP 작업에 대해 평가합니다. T5 [86]는 모든 데이터에 일관된 프롬프트 형식을 사용하여 질문 및 답변, 문서 요약, 감정 분류 등 다양한 NLP 작업을 훈련하는 최초의 시도를 수행했습니다. 이후 FLAN [87], ExT5 [88], T0 [89], UnifiedQA [90], ZeroPrompt [91], FLAN-T5 [92]와 같은 명령어 미세 조정 작업이 등장하여 다수의 다운스트림 작업에 적응하기 시작했습니다. 모델 출력과 사람의 요구 사항 간의 정합성 문제를 해결하기 위해 OpenAI는 수동으로 명령 라이브러리를 주석 처리하여 다양한 작업을 구성합니다. 동시에 인간 피드백으로부터의 강화 학습 기술을 사용하여 InstructGPT [2], ChatGPT\({}^{\ast}\), GPT-4 [3]와 같은 LLM을 빠르게 개발할 수 있게 되었습니다. 수동 작업을 줄이기 위해 셀프 인스트럭트 [93]는 자체 생성된 인스트럭션을 통해 인스트럭션 팔로잉을 개선합니다. 알파카 [22]는 수동으로 작성된 제한된(예: 175개 샘플) 시드 세트에서 생성된 5만 개의 명령어 데이터 세트를 사용했습니다. Vicuna [23]는 ShareGPT.com에서 수집한 ChatGPT와의 7만 건의 사용자 공유 대화를 사용했습니다. 한편, WizardLM [24]은 복잡성과 다양성을 모두 향상시켜 기존 명령어 데이터를 개선하는 evol-instruct 접근 방식을 도입했습니다.