\(\bullet\)_Supervised fine-tuning._ To make the LM initially perform desired behaviors, it usually needs to collect a supervised dataset containing input prompts (instruction) and desired outputs for fine-tuning the LM. These prompts and outputs can be written by human labelers for some specific tasks while ensuring the diversity of tasks. For example, InstructGPT [66] asks human labelers to compose prompts (_e.g._, _"List five ideas for how to regain enthusiasm for my career"_) and desired outputs for several generative tasks such as open QA, brainstorming, chatting, and rewriting. Note that the first step is optional in specific settings or scenarios.
\(\bullet\)_Supervised Fine-tuning._ LM이 처음에 원하는 동작을 수행하려면 일반적으로 LM을 Fine-tuning하기 위해 입력 프롬프트(Instruction)와 원하는 출력이 포함된 supervised dataset을 수집해야 합니다. 이러한 프롬프트와 출력은 일부 특정 작업의 경우 인간 레이블러가 작업의 다양성을 보장하면서 작성할 수 있습니다. 예를 들어, InstructGPT [66]은 인간 레이블러에게 오픈 QA, 브레인스토밍, 채팅, 재작성 등 여러 generative 작업에 대한 프롬프트("_예: _"내 경력에 대한 열정을 되찾을 수 있는 방법에 대한 다섯 가지 아이디어를 나열하세요"_)와 원하는 출력을 작성하도록 요청합니다. 특정 설정이나 시나리오에서는 첫 번째 단계가 선택 사항입니다.
\(\bullet\)_지도 미세 조정._ LM이 처음에 원하는 동작을 수행하려면 일반적으로 LM을 미세 조정하기 위해 입력 프롬프트(지침)와 원하는 출력이 포함된 지도 데이터 집합을 수집해야 합니다. 이러한 프롬프트와 출력은 일부 특정 작업의 경우 인간 레이블러가 작업의 다양성을 보장하면서 작성할 수 있습니다. 예를 들어, InstructGPT [66]은 인간 레이블러에게 오픈 QA, 브레인스토밍, 채팅, 재작성 등 여러 제너레이티브 작업에 대한 프롬프트("_예: _"내 경력에 대한 열정을 되찾을 수 있는 방법에 대한 다섯 가지 아이디어를 나열하세요"_)와 원하는 출력을 작성하도록 요청합니다. 특정 설정이나 시나리오에서는 첫 번째 단계가 선택 사항입니다.