**Tasks.** Our experiments explore three different open-ended text generation tasks. For all experiments, algorithms learn a policy from a dataset of preferences \(\mathcal{D}=\left\{x^{(i)},y_{w}^{(i)},y_{l}^{(i)}\right\}_{i=1}^{N}\). In **controlled sentiment generation**, \(x\) is a prefix of a movie review from the IMDb dataset [22], and the policy must generate \(y\) with positive sentiment. In order to perform a controlled evaluation, for this experiment we _generate_ preference pairs over generations using a pre-trained sentiment classifier, where \(p\)(positive \(\mid x,y_{w}\rangle>p\)(positive \(\mid x,y_{l}\rangle\). For SFT, we fine-tune GPT-2-large until convergence on reviews from the train split of the IMDB dataset (further details in App C.1). In **summarization**, \(x\) is a forum post from Reddit; the policy must generate a summary \(y\) of the main points in the post. Following prior work, we use the Reddit TL;DR summarization dataset [41] along with human preferences gathered by Stiennon et al.. We use an SFT model fine-tuned on human-written forum post summaries2 with the TRLX [42] framework for RLHF. The human preference dataset was gathered by Stiennon et al. on samples from a different, but similarly-trained, SFT model. Finally, in **single-turn dialogue**, \(x\) is a human query, which may be anything from a question about astrophysics to a request for relationship advice. A policy must produce an engaging and helpful response \(y\) to a user's query; we use the Anthropic Helpful and Harmless dialogue dataset [1], containing 170k dialogues between a human and an automated assistant. Each transcript ends with a pair of responses generated by a large (although unknown) language model along with a preference label denoting the human-preferred response. In this setting, no pre-trained SFT model is available; we therefore fine-tune an off-the-shelf language model on only the preferred completions to form the SFT model.
**작업**. 우리의 실험은 세 가지 개방형 텍스트 생성 작업을 탐구합니다. 모든 실험에서 알고리즘은 선호도 데이터 집합 \(\mathcal{D}=\left\{x^{(i)},y_{w}^{(i)},y_{l}^{(i)}\right\}_{i=1}^{N}\)에서 policy를 학습합니다. **제어된 감정 생성**에서 \(x\)는 IMDb 데이터 세트 [22]의 영화 리뷰 접두사이며, policy는 긍정적인 감성을 가진 \(y\)를 생성해야 합니다. 통제된 평가를 수행하기 위해 이 실험에서는 사전 학습된 감성 분류기를 사용하여 세대 간 선호도 쌍을 _생성_하며, 여기서 \(p\)(긍정적 \(\mid x,y_{w}\rangle>p\)(긍정적 \(\mid x,y_{l}\rangle\). Supervised Fine-tuning (SFT)의 경우, IMDB 데이터 세트의 트레인 분할에서 리뷰에 대해 수렴할 때까지 GPT-2-large를 Fine-tuning합니다(자세한 내용은 앱 C.1 참조). **요약**에서 \(x\)는 Reddit의 포럼 게시물이며, policy는 게시물의 요점을 요약하는 \(y\)를 생성해야 합니다. 선행 연구에 따라, 우리는 Reddit TL;DR 요약 데이터 세트 [41]와 Stiennon 등이 수집한 인간 선호도를 사용합니다. 우리는 인간이 작성한 포럼 게시물 요약2에 대해 Fine-tuning된 SFT 모델을 Reinforcement Learning from Human Feedback (RLHF)를 위한 TRLX [42] 프레임워크와 함께 사용합니다. 인간 선호도 데이터 세트는 Stiennon 등이 다른 데이터 세트에서 수집했지만 비슷하게 훈련된 SFT 모델에서 수집했습니다. 마지막으로, **단일 턴 대화**에서 \(x\)는 인간의 쿼리이며, 천체 물리학에 대한 질문부터 관계 조언 요청까지 무엇이든 될 수 있습니다. policy는 사용자의 질문에 대해 흥미롭고 유용한 응답 \(y\)를 생성해야 하며, 인간과 자동화된 어시스턴트 간의 17만 건의 대화가 포함된 Anthropic 유용하고 무해한 대화 데이터 세트 [1]를 사용합니다. 각 대화는 선호도 레이블과 함께 큰 언어 모델(알 수 없음)에 의해 생성된 한 쌍의 응답으로 끝납니다. 이 설정에서는 사전 학습된 SFT 모델을 사용할 수 없으므로 선호도가 높은 완성에 대해서만 오프더 셸프 언어 모델을 Fine-tuning하여 SFT 모델을 형성합니다.
**작업**. 우리의 실험은 세 가지 개방형 텍스트 생성 작업을 탐구합니다. 모든 실험에서 알고리즘은 선호도 데이터 집합 \(\mathcal{D}=\left\{x^{(i)},y_{w}^{(i)},y_{l}^{(i)}\right\}_{i=1}^{N}\). **제어된 감정 생성**에서 \(x\)는 IMDb 데이터 세트 [22]의 영화 리뷰 접두사이며, 정책은 긍정적인 감성을 가진 \(y\)를 생성해야 합니다. 통제된 평가를 수행하기 위해 이 실험에서는 사전 학습된 감성 분류기를 사용하여 세대 간 선호도 쌍을 _생성_하며, 여기서 \(p\)(긍정적 \(\mid x,y_{w}\rangle>p\)(긍정적 \(\mid x,y_{l}\rangle\). SFT의 경우, IMDB 데이터 세트의 트레인 분할에서 리뷰에 대해 수렴할 때까지 GPT-2-large를 미세 조정합니다(자세한 내용은 앱 C.1 참조). **요약**에서 \(x\)는 Reddit의 포럼 게시물이며, 정책은 게시물의 요점을 요약하는 \(y\)를 생성해야 합니다. 선행 연구에 따라, 우리는 Reddit TL;DR 요약 데이터 세트 [41]와 Stiennon 등이 수집한 인간 선호도를 사용합니다. 우리는 인간이 작성한 포럼 게시물 요약2에 대해 미세 조정된 SFT 모델을 RLHF를 위한 TRLX [42] 프레임워크와 함께 사용합니다. 인간 선호도 데이터 세트는 Stiennon 등이 다른 데이터 세트에서 수집했지만 비슷하게 훈련된 SFT 모델에서 수집했습니다. 마지막으로, **단일 턴 대화**에서 \(x\)는 인간의 쿼리이며, 천체 물리학에 대한 질문부터 관계 조언 요청까지 무엇이든 될 수 있습니다. 정책은 사용자의 질문에 대해 흥미롭고 유용한 응답 \(y\)를 생성해야 하며, 인간과 자동화된 어시스턴트 간의 17만 건의 대화가 포함된 Anthropic 유용하고 무해한 대화 데이터 세트 [1]를 사용합니다. 각 대화는 선호도 레이블과 함께 큰 언어 모델(알 수 없음)에 의해 생성된 한 쌍의 응답으로 끝납니다. 이 설정에서는 사전 학습된 SFT 모델을 사용할 수 없으므로 선호도가 높은 완성에 대해서만 오프더 셸프 언어 모델을 미세 조정하여 SFT 모델을 형성합니다.