To enable LLMs to follow expected human instructions, InstructGPT [59] is proposed to align language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, a dataset of labeler demonstrations of the desired model behavior is collected. Then GPT-3 is fine-tuned on this dataset. Then, a dataset of human-ranked model outputs is collected to further fine-tune the model using reinforcement learning.
LLM이 예상되는 인간의 지시를 따를 수 있도록 하기 위해, InstructGPT [59]는 인간 피드백으로 Fine-tuning하여 다양한 작업에서 언어 모델을 사용자 의도에 맞추는 것을 제안한다. 라벨러가 작성한 프롬프트와 OpenAI API를 통해 제출된 프롬프트 세트에서 시작하여 원하는 모델 동작에 대한 라벨러 데모 데이터 세트를 수집한다. 그런 다음 이 데이터 세트에 대해 GPT-3를 Fine-tuning한다. 그런 다음 인간이 순위를 매긴 모델 출력 데이터 세트를 수집하여 Reinforcement learning을 사용하여 모델을 추가로 Fine-tuning한다.
LLM이 예상되는 인간의 지시를 따를 수 있도록 하기 위해, InstructGPT [59]는 인간 피드백으로 미세 조정하여 다양한 작업에서 언어 모델을 사용자 의도에 맞추는 것을 제안한다. 라벨러가 작성한 프롬프트와 OpenAI API를 통해 제출된 프롬프트 세트에서 시작하여 원하는 모델 동작에 대한 라벨러 데모 데이터 세트를 수집한다. 그런 다음 이 데이터 세트에 대해 GPT-3를 미세 조정한다. 그런 다음 인간이 순위를 매긴 모델 출력 데이터 세트를 수집하여 강화 학습을 사용하여 모델을 추가로 미세 조정한다.