**RL for Rationale Refinement.** For RL, we utilized the Huggingface's TRL4 library that provides a set of tools to train transformer LMs with RL. Instead of using the same examples used for the rationale distillation, we selectively chose 5000 examples that FLAN-T5 XXL failed to answer the question correctly. The reason behind this choice was to increase the model's exposure to challenging questions, thus increasing the likelihood of receiving more learning signals. We used 90% of data for training and the remaining 10% for validation. Training hyperparameters are as follows: 1.4e-5 for learning rates, 1 epoch, 16 batch size. For generation configurations, we set top_k as 0.0, top_p as 1.0, and enabled sampling.
**Rationale Refinement을 위한 RL**. RL의 경우, Transformer LM을 RL로 훈련할 수 있는 일련의 도구를 제공하는 Huggingface의 TRL4 라이브러리를 활용했습니다. 근거 증류에 사용된 것과 동일한 예제를 사용하는 대신, FLAN-T5 XXL이 질문에 올바르게 답하지 못한 5000개의 예제를 선택적으로 선택했습니다. 이를 선택한 이유는 모델이 어려운 질문에 노출되는 빈도를 높여 학습 신호를 더 많이 수신할 가능성을 높이기 위해서였습니다. 데이터의 90%는 학습에, 나머지 10%는 검증에 사용했습니다. 학습 하이퍼파라미터는 Learning Rate의 경우 1.4e-5, 에포크 1회, Batch Size 16입니다. 생성 구성의 경우 top_k는 0.0, top_p는 1.0으로 설정하고 샘플링을 활성화했습니다.
**근거 구체화를 위한 RL**. RL의 경우, 트랜스포머 LM을 RL로 훈련할 수 있는 일련의 도구를 제공하는 Huggingface의 TRL4 라이브러리를 활용했습니다. 근거 증류에 사용된 것과 동일한 예제를 사용하는 대신, FLAN-T5 XXL이 질문에 올바르게 답하지 못한 5000개의 예제를 선택적으로 선택했습니다. 이를 선택한 이유는 모델이 어려운 질문에 노출되는 빈도를 높여 학습 신호를 더 많이 수신할 가능성을 높이기 위해서였습니다. 데이터의 90%는 학습에, 나머지 10%는 검증에 사용했습니다. 학습 하이퍼파라미터는 학습률의 경우 1.4e-5, 에포크 1회, 배치 크기 16입니다. 생성 구성의 경우 top_k는 0.0, top_p는 1.0으로 설정하고 샘플링을 활성화했습니다.