* Learning Rate: \(5\times 10^{-7}\)
* \(\beta\): 0.1
* Epochs: 3
* Warmup: Linear warmup for the first 10% of total training time, and then linear cooldown to a learning rate of 0 over the remaining steps.
* 학습률: \(5\times 10^{-7}\)
* \(\beta\): 0.1
* 에포크: 3
* 워밍업: 전체 훈련 시간의 처음 10% 동안 선형 워밍업을 수행한 후, 남은 단계 동안 학습률을 0으로 선형 감소시킵니다.
* 학습 속도: \(5\배 10^{-7}\)* \(\베타\): 0.1* 에포크: 3* 워밍업: 전체 훈련 시간의 처음 10% 동안 선형 워밍업을 수행한 다음, 나머지 단계에서 0의 학습 속도로 선형 쿨다운을 수행합니다.