Optimization and EvaluationFor optimization, we use the AdamW optimizer with a warmup of 20 steps, a learning rate of \(1e-6\), a weight decay of 0.001, and a batch size of 8 (along with any necessary gradient accumulation to keep this fixed across runs). Moreover, our <!startofthought|> and <!endofthought|> embedding gradient weight is \(1e2\) and our policy weight is \(1e6\). We sample with temperature \(T=1\) during training and use greedy decoding for the thoughts during evaluation. We treat our samples as importance samples by computing the REINFORCE loss at temperature \(T=3\). Because we do not prompt the model with any examples, we directly compute the probability of the correct answer, conditioned on generating an answer - for example, for multiple choice questions between \(A\cdots E\), we compute the accuracy over the logits for tokens corresponding to \(A\cdots E\). Lastly, for our training, we select a random span of 256 tokens from each sample (or pad if there are fewer than 256 tokens).
최적화 및 평가. 최적화를 위해 워밍업 20단계, Learning Rate \(1e-6\), 가중치 감쇠 0.001, Batch Size 8(필요에 따라 실행 전반에 걸쳐 이를 고정하기 위해 그라디언트 누적)의 AdamW Optimizer를 사용합니다. 또한, <!startofthought|> 및 <!endofthought|> 임베딩 그라디언트 가중치는 \(1e2\)이고 정책 가중치는 \(1e6\)입니다. 훈련 중에는 온도 \(T=1\)로 샘플링하고 평가 중에는 탐욕스러운 디코딩을 사용합니다. 온도 \(T=3\)에서 REINFORCE Loss를 계산하여 샘플을 중요 샘플로 취급합니다. 모델에 예제를 프롬프트하지 않으므로 정답의 확률을 직접 계산하여 예를 들어, \(A\cdots E\) 사이의 객관식 문제의 경우, \(A\cdots E\)에 해당하는 토큰에 대한 로짓에 대한 정확도를 계산합니다. 마지막으로, 훈련의 경우 각 샘플에서 256개의 토큰의 임의 범위를 선택합니다(또는 토큰이 256개 미만인 경우 패드).
최적화 및 평가최적화를 위해 워밍업 20단계, 학습 속도 \(1e-6\), 가중치 감쇠 0.001, 배치 크기 8(필요에 따라 실행 전반에 걸쳐 이를 고정하기 위해 그라디언트 누적)의 AdamW 옵티마이저를 사용합니다. 또한, <!startofthought|> 및 <!endofthought|> 임베딩 그라디언트 가중치는 \(1e2\)이고 정책 가중치는 \(1e6\)입니다. 훈련 중에는 온도 \(T=1\)로 샘플링하고 평가 중에는 탐욕스러운 디코딩을 사용합니다. 온도 \(T=3\)에서 REINFORCE 손실을 계산하여 샘플을 중요 샘플로 취급합니다. 모델에 예제를 프롬프트하지 않으므로 정답의 확률을 직접 계산하여 예를 들어, \(A\cdots E\) 사이의 객관식 문제의 경우, \(A\cdots E\)에 해당하는 토큰에 대한 로짓에 대한 정확도를 계산합니다. 마지막으로, 훈련의 경우 각 샘플에서 256개의 토큰의 임의 범위를 선택합니다(또는 토큰이 256개 미만인 경우 패드).