This part first presents the background of alignment with its definition and criteria, then focuses on the collection of human feedback data for aligning LLMs, and finally discusses the key technique of reinforcement learning from human feedback (RLHF) for alignment tuning.
이 부분에서는 먼저 정의와 기준을 통해 정렬의 배경을 제시한 후, LLM 정렬을 위한 인간 피드백 데이터 수집에 초점을 맞추고, 마지막으로 정렬 튜닝을 위한 Reinforcement Learning from Human Feedback (RLHF)의 핵심 기법에 대해 논의한다.
이 부분에서는 먼저 정의와 기준을 통해 정렬의 배경을 제시한 후, LLM 정렬을 위한 인간 피드백 데이터 수집에 초점을 맞추고, 마지막으로 정렬 튜닝을 위한 인간 피드백으로부터의 강화 학습(RLHF)의 핵심 기법에 대해 논의한다.