Overall, due to the significantly different training durations (i.e., number of training tokens) across the 100-, 300-, 600-, and 1000-exposure settings, we had to adjust their batch sizes, weight decay, and learning rates accordingly. These adjustments are discussed below.
전반적으로 100-, 300-, 600-, 1000-노출 설정에서 훈련 기간(즉, 훈련 토큰 수)이 상당히 다르기 때문에 Batch Size, weight decay 및 Learning Rate를 적절히 조정해야 했습니다. 이러한 조정에 대해서는 아래에서 설명합니다.
전반적으로 100-, 300-, 600-, 1000-노출 설정에서 훈련 기간(즉, 훈련 토큰 수)이 상당히 다르기 때문에 배치 크기, 가중치 감쇠 및 학습 속도를 적절히 조정해야 했습니다. 이러한 조정에 대해서는 아래에서 설명합니다.