As mentioned in Section 3.4, we use the same hyperparameters and configurations as the original OPT model architecture from Zhang et al. [59]. We describe these hyperparameters briefly in Table A1. We chose these configurations because they are openly available and have been used as the standard in many previous works [1, 13, 29, 48, 59]. All models use GELU activation [18], Adam optimizer [26] with \(\beta_{1}=0.9\), \(\beta_{2}=0.95\), \(\epsilon=10^{-8}\), weight decay set to \(0.1\), and we clip gradient norms at 1.0. We use a polynomial learning rate schedule, where learning rate warms up from 0.0 to peak learning rate over the first 375 million tokens, and is then annealed to (\(0.1\) * Peak LR) over the remaining (\(T_{target}-375\)) M tokens. We train all our models in fully sharded data parallel mode [2] using Megatron-LM Tensor Parallelism [45] with fp16 precision. For reproducibility (and perhaps the only difference from the original configuration in Zhang et al. [59]) is that we do not use dropout.
3.4절에서 언급했듯이 Zhang 등의 원래 OPT 모델 아키텍처와 동일한 hyperparameters와 configurations을 사용합니다[59]. 이러한 hyperparameters에 대해서는 표 A1에 간략하게 설명합니다. 이러한 configurations을 선택한 이유는 공개적으로 사용할 수 있고 이전의 많은 작업 [1, 13, 29, 48, 59]에서 표준으로 사용되었기 때문입니다. 모든 모델은 GELU activation [18], Adam optimizer [26]를 사용하며, \(\beta_{1}=0.9\), \(\beta_{2}=0.95\), \(\epsilon=10^{-8}\), weight decay는 \(0.1\)로 설정하고 gradient norms를 1.0으로 clip합니다. 다항식 learning rate 일정을 사용하여 처음 3억 7,500만 토큰에 걸쳐 learning rate가 0.0에서 최대 learning rate로 워밍업된 다음 나머지 (\(T_{target}-375)) M 토큰에 걸쳐 (\(0.1\) * Peak LR)로 어닐링됩니다. 모든 모델은 fp16 정밀도로 Megatron-LM 텐서 병렬 처리 [45]를 사용하여 완전히 샤드화된 데이터 병렬 모드 [2]로 훈련합니다. 재현성을 위해(그리고 아마도 Zhang 등의 원래 구성과는 유일한 차이점[59]) dropout을 사용하지 않습니다.
3.4절에서 언급했듯이 Zhang 등의 원래 OPT 모델 아키텍처와 동일한 하이퍼파라미터와 구성을 사용합니다[59]. 이러한 하이퍼파라미터에 대해서는 표 A1에 간략하게 설명합니다. 이러한 구성을 선택한 이유는 공개적으로 사용할 수 있고 이전의 많은 작업 [1, 13, 29, 48, 59]에서 표준으로 사용되었기 때문입니다. 모든 모델은 GELU 활성화 [18], Adam 옵티마이저 [26]를 사용하며, \(\beta_{1}=0.9\), \(\beta_{2}=0.95\), \(\epsilon=10^{-8}\), 가중치 감쇠는 \(0.1\)로 설정하고 그라디언트 규범을 1.0으로 클립합니다. 다항식 학습 속도 일정을 사용하여 처음 3억 7,500만 토큰에 걸쳐 학습 속도가 0.0에서 최대 학습 속도로 워밍업된 다음 나머지 (\(T_{target}-375)) M 토큰에 걸쳐 (\(0.1\) * Peak LR)로 어닐링됩니다. 모든 모델은 fp16 정밀도로 Megatron-LM 텐서 병렬 처리 [45]를 사용하여 완전히 샤드화된 데이터 병렬 모드 [2]로 훈련합니다. 재현성을 위해(그리고 아마도 Zhang 등의 원래 구성과는 유일한 차이점[59]) 드롭아웃을 사용하지 않습니다.