**Optimizer.** The Adam optimizer [328] and AdamW optimizer [329] are widely utilized for training LLMs (_e.g.,_ GPT-3), which are based on adaptive estimates of lower-order moments for first-order gradient-based optimization. Commonly, its hyper-parameters are set as follows: \(\beta_{1}=0.9\), \(\beta_{2}=0.95\) and \(\epsilon=10^{-8}\). Meanwhile, the Adafactor optimizer [330] has also been utilized in training LLMs (_e.g.,_ PaLM and T5), which is a variant of the Adam optimizer specially designed for conserving GPU memory during training. The hyper-parameters of the Adafactor optimizer are set as: \(\beta_{1}=0.9\) and \(\beta_{2}=1.0-k^{-0.8}\), where \(k\) denotes the number of training steps.
**Optimizer.** Adam 옵티마이저 [328]와 AdamW 옵티마이저 [329]는 LLMs (예: GPT-3) 훈련에 널리 사용되며, 이는 1차 기울기 기반 최적화를 위한 하위 차수 모멘트의 적응 추정에 기반합니다. 일반적으로, 이들의 하이퍼파라미터는 다음과 같이 설정됩니다: \(\beta_{1}=0.9\), \(\beta_{2}=0.95\) 및 \(\epsilon=10^{-8}\). 한편, Adafactor 옵티마이저 [330]도 LLMs (예: PaLM 및 T5) 훈련에 사용되었으며, 이는 훈련 중 GPU 메모리를 절약하기 위해 특별히 설계된 Adam 옵티마이저의 변형입니다. Adafactor 옵티마이저의 하이퍼파라미터는 다음과 같이 설정됩니다: \(\beta_{1}=0.9\) 및 \(\beta_{2}=1.0-k^{-0.8}\), 여기서 \(k\)는 훈련 단계 수를 나타냅니다.
**최적화 도구.** 아담 최적화 도구 [328] 및 아담W 최적화 도구 [329]는 1차 경사 기반 최적화를 위한 하위 순간의 적응형 추정치를 기반으로 하는 LLM(예: GPT-3)을 훈련하는 데 널리 활용됩니다. 일반적으로 하이퍼파라미터는 다음과 같이 설정됩니다: \(\beta_{1}=0.9\), \(\beta_{2}=0.95\), \(\epsilon=10^{-8}\). 한편, Adafactor 최적화 도구 [330]는 훈련 중 GPU 메모리를 절약하도록 특별히 설계된 아담 최적화 도구의 변형인 LLM(예: PaLM 및 T5) 훈련에도 활용되었습니다. Adafactor 최적화 도구의 하이퍼파라미터는 다음과 같이 설정됩니다: \(\beta_{1}=0.9\), \(\beta_{2}=1.0-k^{-0.8}\), 여기서 \(k\)는 훈련 단계 수를 나타냅니다.