The prompts are prefixes from the IMDB dataset of length 2-8 tokens. We use the pre-trained sentiment classifier siebert/sentiment-roberta-large-english as a ground-truth reward model and gpt2-large as a base model. We use these larger models as we found the default ones to generate low-quality text and rewards to be somewhat inaccurate. We first use supervised fine-tuning on a subset of the IMDB data for 1 epoch. We then use this model to sample 4 completions for 25000 prefixes and create 6 preference pairs for each prefix using the ground-truth reward model. The RLHF reward model is initialized from the gpt2-large model and trained for 3 epochs on the preference datasets, and we take the checkpoint with the highest validation set accuracy. The "TRL" run uses the hyper-parameters in the TRL library. Our implementation uses larger batch samples of 1024 per PPO step.
프롬프트는 길이 2-8 토큰의 IMDB 데이터 세트의 접두사입니다. 사전 학습된 감정 분류기 siebert/sentiment-roberta-large-english를 ground-truth reward 모델로 사용하고 gpt2-large를 base 모델로 사용합니다. 기본 모델은 품질이 낮은 텍스트와 보상을 생성하는 것으로 나타났기 때문에 이러한 더 큰 모델을 사용합니다. 먼저 IMDB 데이터의 하위 집합에 대해 1회 동안 Supervised Fine-tuning을 사용합니다. 그런 다음 이 모델을 사용하여 25000개의 접두사에 대해 4개의 완성을 샘플링하고 ground-truth reward 모델을 사용하여 각 접두사에 대해 6개의 선호도 쌍을 생성합니다. RLHF reward 모델은 gpt2-large 모델에서 초기화되며 선호도 데이터 세트에 대해 3회 동안 학습되며, 유효성 검사 세트 정확도가 가장 높은 체크포인트를 가져옵니다. "TRL" 실행은 TRL 라이브러리의 하이퍼 파라미터를 사용합니다. 구현은 PPO 단계당 1024개의 더 큰 배치 샘플을 사용합니다.
프롬프트는 길이 2-8 토큰의 IMDB 데이터 세트의 접두사입니다. 사전 학습된 감정 분류기 siebert/sentiment-roberta-large-english를 지상 실측 보상 모델로 사용하고 gpt2-large를 기본 모델로 사용합니다. 기본 모델은 품질이 낮은 텍스트와 보상을 생성하는 것으로 나타났기 때문에 이러한 더 큰 모델을 사용합니다. 먼저 IMDB 데이터의 하위 집합에 대해 1회 동안 지도 미세 조정을 사용합니다. 그런 다음 이 모델을 사용하여 25000개의 접두사에 대해 4개의 완성을 샘플링하고 지상 실측 보상 모델을 사용하여 각 접두사에 대해 6개의 선호도 쌍을 생성합니다. RLHF 보상 모델은 gpt2-large 모델에서 초기화되며 선호도 데이터 세트에 대해 3회 동안 학습되며, 유효성 검사 세트 정확도가 가장 높은 체크포인트를 가져옵니다. "TRL" 실행은 TRL 라이브러리의 하이퍼 파라미터를 사용합니다. 구현은 PPO 단계당 1024개의 더 큰 배치 샘플을 사용합니다.