\(\bullet\)_Human alignment_. The related research of human alignment can be dated back to the year 2017 (or earlier) for OpenAI: a blog article entitled "learning from human preferences"18 was posted on the OpenAI blog describing a work that applied reinforcement learning (RL) to learn from the _preference comparisons_ annotated by humans [79] (similar to the _reward training_ step in the aligning algorithm of InstructGPT in Figure 12). Shortly after the release of this RL paper [79], the paper of the Proximal Policy Optimization (PPO) [128] was published in July 2017, which now has been the foundational RL algorithm for learning from human preferences [66]. Later in January 2020, GPT-2 was fine-tuned using the aforementioned RL algorithms [79, 128], which leveraged human preferences to improve the capacities of GPT-2 on NLP tasks. In the same year, another work [129] trained a summarization model for optimizing human preferences in a similar way. Based on these prior work, InstructGPT [66] was proposed in January 2022 to improve the GPT-3 model for human alignment, which formally established a three-stage _reinforcement learning from human feedback (RLHF)_ algorithm. Note that it seems that the working of "_instruction tuning_" has seldom been used in OpenAI's paper and documentation, which is substituted by _supervised fine-tuning on human demonstrations_ (_i.e._, the first step of the RLHF algorithm [66]). In addition to improving the instruction following capacity, the RLHF algorithm is particularly useful to mitigate the issues of generating harm or toxic content for LLMs, which is key to the safe deployment of LLMs in practice. OpenAI describes their approach to alignment research in a technical article [130], which has summarized three promising directions: "training AI systems to use human feedback, to assist human evaluation and to do alignment research".
\(\bullet\)_Human alignment_. 인간 정렬과 관련된 연구는 2017년(또는 그 이전)에 OpenAI에서 시작되었습니다: 인간의 선호도로부터 학습하기[79]라는 제목의 블로그 기사가 OpenAI 블로그에 게시되었는데, 이 기사는 Reinforcement Learning (RL)을 적용하여 인간이 주석을 달한 _선호도 비교_를 학습하는 작업을 설명했습니다(그림 12의 InstructGPT의 정렬 알고리즘에서 _보상 훈련_ 단계와 유사). 이 RL 논문 [79]이 공개된 직후, 2017년 7월에 Proximal Policy Optimization (PPO) [128] 논문이 발표되었는데, 이 논문은 현재 인간의 선호도로부터 학습하는 기반 RL 알고리즘 [66]이 되었습니다. 이후 2020년 1월에 앞서 언급한 RL 알고리즘 [79, 128]을 사용하여 GPT-2를 Fine-tuning하여 NLP 작업에서 GPT-2의 성능을 개선하는 데 인간의 선호도를 활용했습니다. 같은 해에 또 다른 연구 [129]에서 유사한 방식으로 인간의 선호도를 최적화하기 위해 요약 모델을 훈련했습니다. 이러한 선행 연구를 바탕으로 2022년 1월에 인간 정렬을 위해 GPT-3 모델을 개선하기 위해 InstructGPT [66]가 제안되었으며, 이는 공식적으로 3단계 _Reinforcement Learning from Human Feedback (RLHF)_ 알고리즘을 확립했습니다. OpenAI의 논문과 문서에서는 '_Instruction Tuning_'이 거의 사용되지 않은 것으로 보이며, 이는 _인간의 데모에 대한 Supervised Fine-tuning_(_즉, RLHF 알고리즘 [66]의 첫 번째 단계)으로 대체됩니다. Instruction 수행 능력을 향상시키는 것 외에도 RLHF 알고리즘은 LLM의 유해 또는 독성 콘텐츠 생성 문제를 완화하는 데 특히 유용하며, 이는 실제로 LLM을 안전하게 배포하는 데 핵심적인 역할을 합니다. OpenAI는 정렬 연구에 대한 접근 방식을 기술 문서 [130]에 설명했는데, 여기에는 "인간 피드백을 사용하여 AI 시스템을 훈련하고, 인간 평가를 지원하며, 정렬 연구를 수행하도록 훈련하는" 세 가지 유망한 방향을 요약했습니다.
\(\bullet\)_인간 정렬_. 인간 정렬과 관련된 연구는 2017년(또는 그 이전)에 OpenAI에서 시작되었습니다: 인간의 선호도로부터 학습하기[79]라는 제목의 블로그 기사가 OpenAI 블로그에 게시되었는데, 이 기사는 강화 학습(RL)을 적용하여 인간이 주석을 달한 _선호도 비교_를 학습하는 작업을 설명했습니다(그림 12의 InstructGPT의 정렬 알고리즘에서 _보상 훈련_ 단계와 유사). 이 RL 논문 [79]이 공개된 직후, 2017년 7월에 근접 정책 최적화(PPO) [128] 논문이 발표되었는데, 이 논문은 현재 인간의 선호도로부터 학습하는 기반 RL 알고리즘 [66]이 되었습니다. 이후 2020년 1월에 앞서 언급한 RL 알고리즘 [79, 128]을 사용하여 GPT-2를 미세 조정하여 NLP 작업에서 GPT-2의 성능을 개선하는 데 인간의 선호도를 활용했습니다. 같은 해에 또 다른 연구 [129]에서 유사한 방식으로 인간의 선호도를 최적화하기 위해 요약 모델을 훈련했습니다. 이러한 선행 연구를 바탕으로 2022년 1월에 인간 정렬을 위해 GPT-3 모델을 개선하기 위해 InstructGPT [66]가 제안되었으며, 이는 공식적으로 3단계 _인간 피드백으로부터의 강화 학습(RLHF)_ 알고리즘을 확립했습니다. OpenAI의 논문과 문서에서는 '_명령어 튜닝_'이 거의 사용되지 않은 것으로 보이며, 이는 _인간의 데모에 대한 지도 튜닝_(_즉, RLHF 알고리즘 [66]의 첫 번째 단계)으로 대체됩니다. 명령어 수행 능력을 향상시키는 것 외에도 RLHF 알고리즘은 LLM의 유해 또는 독성 콘텐츠 생성 문제를 완화하는 데 특히 유용하며, 이는 실제로 LLM을 안전하게 배포하는 데 핵심적인 역할을 합니다. OpenAI는 정렬 연구에 대한 접근 방식을 기술 문서 [130]에 설명했는데, 여기에는 "인간 피드백을 사용하여 AI 시스템을 훈련하고, 인간 평가를 지원하며, 정렬 연구를 수행하도록 훈련하는" 세 가지 유망한 방향을 요약했습니다.