\(\bullet\)_LLM based generative approaches._ Reward models help to select aligned data from model responses. However, training reward models itself necessitates substantial high-quality human-labeled data, which is typically expensive and in short supply. In addition, although existing reward models can be reused, they might not be able to accurately capture the nonalignment behaviors in another separately trained LLM. Therefore, some work explores leveraging powerful LLMs to automatically generate human-aligned data. As a representative work, constitutional AI [371] proposes that human supervision comes from a set of principles (_i.e._, natural language instructions) governing AI behaviors. Based on these principles, LLMs will critique their own harmful responses and revise them repeatedly into finally aligned responses. Similarly, Self-Align [347] first adopts self-instruct [143] to generate instructions focusing on covering diverse topics. Then, the model is also prompted with multiple human-written principles that describe the rules of expected model behaviors (also with several in-context exemplars), to generate helpful, ethical, and reliable responses as alignment data. To mitigate the limit that the original SFT method can only learn from positive responses, FIGA [386] develops an improved supervised alignment approach, where both negative (the original output of low quality) and positive (the refined output by LLMs) responses are leveraged in a contrastive way, to enable LLMs to deeply understand what fine-grained revisions actually lead to good response.
\(\bullet\)_LLM 기반 생성 접근 방식._ Reward models은 모델 응답에서 정렬된 데이터를 선택하는 데 도움이 됩니다. 그러나 Reward models 자체를 훈련하려면 일반적으로 비용이 많이 들고 공급이 부족한 고품질의 인간 라벨링 데이터가 필요합니다. 또한 기존 Reward models을 재사용할 수 있지만, 별도로 훈련된 다른 LLM에서 정렬되지 않은 행동을 정확하게 포착하지 못할 수도 있습니다. 따라서 일부 연구에서는 강력한 LLM을 활용하여 사람이 정렬한 데이터를 자동으로 생성하는 방법을 모색하고 있습니다. 대표적인 연구로, 헌법 AI[371]는 AI 행동을 지배하는 일련의 원칙(즉, 자연어 Instructions)에서 인간의 감독이 이루어진다고 제안합니다. 이러한 원칙을 바탕으로 LLM은 자신의 유해한 응답을 비판하고 이를 반복적으로 수정하여 최종적으로 정렬된 응답으로 수정합니다. 마찬가지로 Self-Align [347]은 먼저 다양한 주제를 다루는 데 중점을 둔 Instructions을 생성하기 위해 Self-Instruct [143]를 채택합니다. 그런 다음, 모델에 예상되는 모델 행동의 규칙을 설명하는 여러 개의 인간이 작성한 원칙(여기에도 몇 가지 In-Context 예시 포함)을 프롬프트하여 정렬 데이터로 유용하고 윤리적이며 신뢰할 수 있는 응답을 생성합니다. 원래 Supervised Fine-tuning (SFT) 방식은 긍정적인 응답만 학습할 수 있다는 한계를 완화하기 위해 FIGA [386]는 부정적인 응답(품질이 낮은 원래 출력)과 긍정적인 응답(LLM에 의한 수정된 출력)을 모두 대조적인 방식으로 활용하여 LLM이 실제로 어떤 세분화된 수정이 좋은 응답으로 이어지는지 깊이 이해할 수 있도록 개선된 지도 정렬 접근 방식을 개발했습니다.
\(\bullet\)_LLM 기반 생성 접근 방식._ 보상 모델은 모델 응답에서 정렬된 데이터를 선택하는 데 도움이 됩니다. 그러나 보상 모델 자체를 훈련하려면 일반적으로 비용이 많이 들고 공급이 부족한 고품질의 인간 라벨링 데이터가 필요합니다. 또한 기존 보상 모델을 재사용할 수 있지만, 별도로 훈련된 다른 LLM에서 정렬되지 않은 행동을 정확하게 포착하지 못할 수도 있습니다. 따라서 일부 연구에서는 강력한 LLM을 활용하여 사람이 정렬한 데이터를 자동으로 생성하는 방법을 모색하고 있습니다. 대표적인 연구로, 헌법 AI[371]는 AI 행동을 지배하는 일련의 원칙(즉, 자연어 지침)에서 인간의 감독이 이루어진다고 제안합니다. 이러한 원칙을 바탕으로 LLM은 자신의 유해한 응답을 비판하고 이를 반복적으로 수정하여 최종적으로 정렬된 응답으로 수정합니다. 마찬가지로 셀프 얼라인 [347]은 먼저 다양한 주제를 다루는 데 중점을 둔 지침을 생성하기 위해 셀프 인스트럭트 [143]를 채택합니다. 그런 다음, 모델에 예상되는 모델 행동의 규칙을 설명하는 여러 개의 인간이 작성한 원칙(여기에도 몇 가지 컨텍스트 내 예시 포함)을 프롬프트하여 정렬 데이터로 유용하고 윤리적이며 신뢰할 수 있는 응답을 생성합니다. 원래 SFT 방식은 긍정적인 응답만 학습할 수 있다는 한계를 완화하기 위해 FIGA [386]는 부정적인 응답(품질이 낮은 원래 출력)과 긍정적인 응답(LLM에 의한 수정된 출력)을 모두 대조적인 방식으로 활용하여 LLM이 실제로 어떤 세분화된 수정이 좋은 응답으로 이어지는지 깊이 이해할 수 있도록 개선된 지도 정렬 접근 방식을 개발했습니다.