Self-supervised language models of increasing scale learn to complete some tasks zero-shot [31] or with few-shot prompts [6; 25; 11]. However, their performance on downstream tasks and alignment with user intent can be significantly improved by fine-tuning on datasets of instructions and human-written completions [23; 36; 13; 39]. This 'instruction-tuning' procedure enables LLMs to generalize to instructions outside of the instruction-tuning set and generally increase their usability [13]. Despite the success of instruction tuning, _relative_ human judgments of response quality are often easier to collect than expert demonstrations, and thus subsequent works have fine-tuned LLMs with datasets of human preferences, improving proficiency in translation [18], summarization [38; 49], story-telling [49], and instruction-following [26; 32].
점점 더 큰 규모의 self-supervised 언어 모델은 zero-shot [31] 또는 few-shot 프롬프트 [6; 25; 11]로 완료하는 방법을 학습합니다. 그러나 다운스트림 작업의 성능과 사용자 의도와의 일치성은 Instructions 및 사람이 작성한 완성 데이터 세트에 대한 Fine-tuning을 통해 크게 향상될 수 있습니다 [23; 36; 13; 39]. 이러한 'Instruction-tuning' 절차를 통해 LLM은 Instruction-tuning 세트 외부의 Instructions로 일반화하고 일반적으로 사용성을 높일 수 있습니다 [13]. Instruction tuning의 성공에도 불구하고, 응답 품질에 대한 _상대적인_ 사람의 판단은 전문가의 데모보다 수집하기가 더 쉬운 경우가 많으므로, 이후의 연구에서는 사람의 선호도 데이터 세트로 LLM을 Fine-tuning하여 번역 [18], 요약 [38; 49], 스토리텔링 [49], Instruction-following [26; 32] 등의 숙련도를 향상시켰습니다.
점점 더 큰 규모의 자가 지도 언어 모델은 0샷[31] 또는 몇 번의 샷 프롬프트[6; 25; 11]로 완료하는 방법을 학습합니다. 그러나 다운스트림 작업의 성능과 사용자 의도와의 일치성은 지침 및 사람이 작성한 완성 데이터 세트에 대한 미세 조정을 통해 크게 향상될 수 있습니다[23; 36; 13; 39]. 이러한 '지침 조정' 절차를 통해 LLM은 지침 조정 세트 외부의 지침으로 일반화하고 일반적으로 사용성을 높일 수 있습니다[13]. 지침 튜닝의 성공에도 불구하고, 응답 품질에 대한 _상대적인_ 사람의 판단은 전문가의 데모보다 수집하기가 더 쉬운 경우가 많으므로, 이후의 연구에서는 사람의 선호도 데이터 세트로 LLM을 미세 조정하여 번역[18], 요약[38; 49], 스토리텔링[49], 지침 따르기[26; 32] 등의 숙련도를 향상시켰습니다.