**Stabilizing the Training.** During the pre-training of LLMs, it often suffers from the training instability issue, which may cause the model collapse. To address this issue, weight decay and gradient clipping have been widely utilized, where existing studies [55, 78, 90, 93, 113] commonly set the threshold of gradient clipping to 1.0 and weight decay rate to 0.1. However, with the scaling of LLMs, the training loss spike is also more likely to occur, leading to unstable training. To mitigate this problem, PaLM [56] and OPT [90] use a simple strategy that restarts the training process from an earlier checkpoint before the occurrence of the spike and skips over the data that may have caused the problem. Further, GLM [93] finds that the abnormal gradients of the embedding layer usually lead to spikes, and proposes to shrink the embedding layer gradients to alleviate it.
**훈련 안정화**. LLM의 사전 훈련 중에 모델 붕괴를 일으킬 수 있는 훈련 불안정성 문제가 종종 발생합니다. 이 문제를 해결하기 위해 weight decay와 gradient clipping이 널리 활용되어 왔으며, 기존 연구[55, 78, 90, 93, 113]에서는 일반적으로 gradient clipping의 임계값을 1.0으로, weight decay율을 0.1로 설정합니다. 그러나 LLM의 규모가 확장됨에 따라 훈련 loss 스파이크도 발생할 가능성이 높아져 훈련이 불안정해질 수 있습니다. 이 문제를 완화하기 위해 PaLM [56]과 OPT [90]는 스파이크가 발생하기 전의 이전 체크포인트에서 훈련 프로세스를 다시 시작하고 문제를 일으켰을 수 있는 데이터를 건너뛰는 간단한 전략을 사용합니다. 또한 GLM [93]은 일반적으로 임베딩 레이어의 비정상적인 gradient가 스파이크를 유발한다는 사실을 발견하고, 이를 완화하기 위해 임베딩 레이어 gradient를 축소할 것을 제안합니다.
**훈련 안정화**. LLM의 사전 훈련 중에 모델 붕괴를 일으킬 수 있는 훈련 불안정성 문제가 종종 발생합니다. 이 문제를 해결하기 위해 가중치 감쇠와 그라디언트 클리핑이 널리 활용되어 왔으며, 기존 연구[55, 78, 90, 93, 113]에서는 일반적으로 그라디언트 클리핑의 임계값을 1.0으로, 가중치 감쇠율을 0.1로 설정합니다. 그러나 LLM의 규모가 확장됨에 따라 훈련 손실 스파이크도 발생할 가능성이 높아져 훈련이 불안정해질 수 있습니다. 이 문제를 완화하기 위해 PaLM [56]과 OPT [90]는 스파이크가 발생하기 전의 이전 체크포인트에서 훈련 프로세스를 다시 시작하고 문제를 일으켰을 수 있는 데이터를 건너뛰는 간단한 전략을 사용합니다. 또한 GLM [93]은 일반적으로 임베딩 레이어의 비정상적인 그라디언트가 스파이크를 유발한다는 사실을 발견하고, 이를 완화하기 위해 임베딩 레이어 그라디언트를 축소할 것을 제안합니다.