**Alignment Data Collection.** The construction of alignment data is important to effectively align the behaviors of LLMs with human preferences. To collect high-quality alignment data, some work tries to reuse existing reward models to select high-rated responses, and others explore to leverage powerful LLMs (_e.g._, ChatGPT) or build a simulated environment to generate synthetic alignment examples. Next, we will discuss these three lines of research.
**Alignment Data Collection.** 정렬 데이터를 구축하는 것은 LLMs의 행동을 인간의 선호도에 효과적으로 맞추는 데 중요합니다. 고품질 정렬 데이터를 수집하기 위해 기존 보상 모델을 재사용하여 높은 등급의 응답을 선택하려는 작업도 있고, 강력한 LLMs (_예: ChatGPT_)을 활용하거나 시뮬레이션 환경을 구축하여 합성 정렬 예제를 생성하려는 작업도 있습니다. 다음에서는 이 세 가지 연구 방향에 대해 자세히 설명하겠습니다.
**정렬 데이터 수집.** 정렬 데이터를 구축하는 것은 LLM의 행동을 인간의 선호도에 효과적으로 맞추는 데 중요합니다. 고품질 정렬 데이터를 수집하기 위해 기존 보상 모델을 재사용하여 높은 등급의 응답을 선택하려는 작업도 있고, 강력한 LLM(_예: ChatGPT)을 활용하거나 시뮬레이션 환경을 구축하여 합성 정렬 예제를 생성하려는 작업도 있습니다. 다음에서는 이 세 가지 연구 방향에 대해 자세히 설명하겠습니다.