\(\bullet\)_Alignment tuning_. Since LLMs are trained to capture the data characteristics of pre-training corpora (including both high-quality and low-quality data), they are likely to generate toxic, biased, or even harmful content for humans. It is necessary to align LLMs with human values, _e.g.,_helpful, honest, and _harmless_. For this purpose, InstructGPT [66]designs an effective tuning approach that enables LLMs to follow the expected instructions, which utilizes the technique of _reinforcement learning with human feedback_[66, 79]. It incorporates human in the training loop with elaborately designed labeling strategies. ChatGPT is indeed developed on a similar technique to InstructGPT, which shows a strong alignment capacity in producing high-quality, harmless responses, _e.g._, rejecting to answer insulting questions.
\(\bullet\)_Alignment tuning_. LLM은 사전 학습 말뭉치의 데이터 특성(고품질 데이터와 저품질 데이터 모두 포함)을 포착하도록 학습되기 때문에 독성이 있거나 편향적이거나 심지어 인간에게 해로운 콘텐츠를 생성할 가능성이 높습니다. LLM을 인간의 가치, _예를 들어_ 도움이 되고, 정직하며, 무해한 것과 같이 인간의 가치에 맞추는 것이 필요합니다. 이를 위해 InstructGPT [66]는 LLM이 예상되는 instructions을 따를 수 있는 효과적인 tuning 방식을 설계했으며, 이는 _Reinforcement Learning from Human Feedback (RLHF)_ 기법을 활용합니다[66, 79]. 이 기법은 정교하게 설계된 라벨링 전략을 통해 training loop에 인간을 통합합니다. ChatGPT는 실제로 InstructGPT와 유사한 기술을 기반으로 개발되었으며, 모욕적인 질문에 대한 답변을 거부하는 등 고품질의 무해한 응답을 생성하는 데 있어 강력한 alignment 능력을 보여줍니다.
\(\bullet\)_정렬 튜닝_. LLM은 사전 학습 말뭉치의 데이터 특성(고품질 데이터와 저품질 데이터 모두 포함)을 포착하도록 학습되기 때문에 독성이 있거나 편향적이거나 심지어 인간에게 해로운 콘텐츠를 생성할 가능성이 높습니다. LLM을 인간의 가치, _예를 들어_ 도움이 되고, 정직하며, 무해한 것과 같이 인간의 가치에 맞추는 것이 필요합니다. 이를 위해 InstructGPT [66]는 LLM이 예상되는 지침을 따를 수 있는 효과적인 튜닝 방식을 설계했으며, 이는 _인간 피드백을 통한 강화 학습_ 기법을 활용합니다[66, 79]. 이 기법은 정교하게 설계된 라벨링 전략을 통해 트레이닝 루프에 인간을 통합합니다. ChatGPT는 실제로 InstructGPT와 유사한 기술을 기반으로 개발되었으며, 모욕적인 질문에 대한 답변을 거부하는 등 고품질의 무해한 응답을 생성하는 데 있어 강력한 정렬 능력을 보여줍니다.