**Overview.** The basic idea of non-RL alignment approaches is to directly fine-tune LLMs with _supervised learning_ on high-quality _alignment dataset_. It basically assumes that response feedback or golden rules to avert unsafe behaviors have been injected or included in the specially curated alignment dataset, so that LLMs can directly learn aligned behaviors from these demonstration data via suitable fine-tuning strategies. Thus, to implement this approach, two key issues are the construction of alignment dataset and the design of fine-tuning loss. For the first issue, the alignment dataset can be automatically constructed by an aligned LLMs according to human-written safety principles [347] or refining existing examples using edits operations [383]. In addition, we can also reuse existing reward models to select high-rated responses from existing human feedback data [373]. For the second issue, non-RL alignment approaches mainly fine-tune LLMs in a supervised learning way (the same as the original instruction tuning loss) on a high-quality alignment dataset, meanwhile auxiliary learning objectives can be used to enhance the alignment performance, _e.g._, ranking responses or contrasting instruction-response pairs.
**개요**. 비RL 정렬 접근 방식의 기본 아이디어는 고품질 _alignment dataset_에 대한 _supervised learning_을 통해 LLM을 직접 Fine-tuning하는 것입니다. 기본적으로 안전하지 않은 행동을 피하기 위한 응답 피드백 또는 황금률이 특별히 큐레이션된 alignment dataset에 주입되거나 포함되어 있어, LLM이 적절한 Fine-tuning 전략을 통해 이러한 데모 데이터에서 정렬된 행동을 직접 학습할 수 있다고 가정합니다. 따라서 이 접근 방식을 구현하기 위해서는 alignment dataset의 구성과 Fine-tuning loss의 설계라는 두 가지 핵심 문제가 있습니다. 첫 번째 문제에 대해 alignment dataset은 인간이 작성한 안전 원칙에 따라 정렬된 LLM에 의해 자동으로 구성되거나 [347] 편집 작업을 사용하여 기존 예제를 개선하거나 [383] 기존 보상 모델을 재사용하여 기존 인간 피드백 데이터에서 높은 등급의 응답을 선택할 수 있습니다. 두 번째 문제에 대해 비RL 정렬 접근 방식은 주로 고품질 alignment dataset에서 supervised learning 방식으로 LLM을 Fine-tuning하는 동시에 보조 학습 목표를 사용하여 정렬 성능을 향상시킬 수 있습니다(예: 응답 순위 매기기 또는 명령어-응답 쌍 대조).
**개요**. 비RL 정렬 접근 방식의 기본 아이디어는 고품질 _정렬 데이터 세트_에 대한 _지도 학습_을 통해 LLM을 직접 미세 조정하는 것입니다. 기본적으로 안전하지 않은 행동을 피하기 위한 응답 피드백 또는 황금률이 특별히 큐레이션된 정렬 데이터 세트에 주입되거나 포함되어 있어, LLM이 적절한 미세 조정 전략을 통해 이러한 데모 데이터에서 정렬된 행동을 직접 학습할 수 있다고 가정합니다. 따라서 이 접근 방식을 구현하기 위해서는 정렬 데이터 세트의 구성과 미세 조정 손실의 설계라는 두 가지 핵심 문제가 있습니다. 첫 번째 문제에 대해 정렬 데이터 세트는 인간이 작성한 안전 원칙에 따라 정렬된 LLM에 의해 자동으로 구성되거나 [347] 편집 작업을 사용하여 기존 예제를 개선하거나 [383] 기존 보상 모델을 재사용하여 기존 인간 피드백 데이터에서 높은 등급의 응답을 선택할 수 있습니다. 두 번째 문제에 대해 비RL 정렬 접근 방식은 주로 고품질 정렬 데이터 세트에서 지도 학습 방식으로 LLM을 미세 조정하는 동시에 보조 학습 목표를 사용하여 정렬 성능을 향상시킬 수 있습니다(예: 응답 순위 매기기 또는 명령어-응답 쌍 대조).