**Scalable Pre-training Strategies.** Since the discovery of scaling law (Kaplan et al., 2020; Rae et al., 2021; Aghajanyan et al., 2023), scientifically and predictably (Achiam et al., 2023; Hu et al., 2023; Du et al., 2024) scaling up the LLMs has been pursued from diverse perspectives, especially for the pre-training stage. In terms of training stability, the Tensor Program series (Yang et al., 2022; 2023) is introduced to ensure optimal hyper-parameter consistency across varying model scales, a technique employed in training CerebrasGPT (Dey et al., 2023). Furthermore, Wortsman et al. (2023) suggest leveraging smaller models to anticipate and mitigate instabilities in larger model training. From the training data standpoint, various data-centric strategies have been advocated (Xie et al., 2024; Shi et al., 2023; Ye et al., 2024). In the realm of training methodologies, prior research has delved into diverse learning rate schedulers (LRS) (Howard and Ruder, 2018; Raffel et al., 2020; Hundt et al., 2019), with the Cosine LRS (Loshchilov and Hutter, 2016) emerging as the predominant choice in LLMs. Kaplan et al. (2020) and Hoffmann et al. (2022) have meticulously examined the hyper-parameters of Cosine LRS, thereby laying a foundational groundwork for subsequent pre-training works. Of these, DeepSeek (Bi et al., 2024) bears the closest resemblance to our proposed WSD LRS. Concerning batch size scheduling, Smith et al. (2017) advocates for incrementing batch size as an alternative to diminishing learning rate, a strategy recently adopted by Yi-9B (Young et al., 2024).
**확장 가능한 사전 학습 전략.** 스케일링 법칙(Kaplan et al., 2020; Rae et al., 2021; Aghajanyan et al., 2023)의 발견 이후, 과학적이고 예측 가능한(Achiam et al., 2023; Hu et al., 2023; Du et al., 2024) 방식으로 LLM을 확장하는 것은 특히 사전 학습 단계에서 다양한 관점에서 추구되어 왔습니다. 훈련 안정성 측면에서, 다양한 모델 규모에서 최적의 하이퍼파라미터 일관성을 보장하기 위해 Tensor Program 시리즈(Yang et al., 2022; 2023)가 도입되었으며, 이는 CerebrasGPT(Dey et al., 2023)를 훈련하는 데 사용되는 기술입니다. 또한 Wortsman et al. (2023)은 더 작은 모델을 활용하여 더 큰 모델 훈련의 불안정성을 예측하고 완화할 것을 제안합니다. 훈련 데이터 관점에서 다양한 데이터 중심 전략이 옹호되고 있습니다(Xie et al., 2024; Shi et al., 2023; Ye et al., 2024). 훈련 방법론 영역에서 선행 연구에서는 다양한 Learning Rate Schedulers (LRS)(Howard and Ruder, 2018; Raffel et al., 2020; Hundt et al., 2019)를 연구했으며, Cosine LRS(Loshchilov and Hutter, 2016)가 LLM에서 주된 선택으로 부상했습니다. Kaplan et al. (2020)과 Hoffmann et al. (2022)은 Cosine LRS의 하이퍼파라미터를 면밀히 조사하여 후속 사전 학습 작업을 위한 기초 작업을 수행했습니다. 이 중에서도 DeepSeek(Bi et al., 2024)는 저희가 제안한 WSD LRS와 가장 유사합니다. Batch Size 스케줄링과 관련하여 Smith et al. (2017)은 Learning Rate 감소의 대안으로 Batch Size를 늘리는 것을 옹호하는데, 이 전략은 최근 Yi-9B(Young et al., 2024)에서 채택한 전략입니다.
**확장 가능한 사전 학습 전략.** 스케일링 법칙(Kaplan et al., 2020; Rae et al., 2021; Aghajanyan et al., 2023)의 발견 이후, 과학적이고 예측 가능한(Achiam et al., 2023; Hu et al., 2023; Du et al., 2024) 방식으로 LLM을 확장하는 것은 특히 사전 학습 단계에서 다양한 관점에서 추구되어 왔습니다. 훈련 안정성 측면에서, 다양한 모델 규모에서 최적의 하이퍼파라미터 일관성을 보장하기 위해 Tensor Program 시리즈(Yang et al., 2022; 2023)가 도입되었으며, 이는 CerebrasGPT(Dey et al., 2023)를 훈련하는 데 사용되는 기술입니다. 또한 Wortsman et al. (2023)은 더 작은 모델을 활용하여 더 큰 모델 훈련의 불안정성을 예측하고 완화할 것을 제안합니다. 훈련 데이터 관점에서 다양한 데이터 중심 전략이 옹호되고 있습니다(Xie et al., 2024; Shi et al., 2023; Ye et al., 2024). 훈련 방법론 영역에서 선행 연구에서는 다양한 학습 속도 스케줄러(LRS)(Howard and Ruder, 2018; Raffel et al., 2020; Hundt et al., 2019)를 연구했으며, 코사인 LRS(Loshchilov and Hutter, 2016)가 LLM에서 주된 선택으로 부상했습니다. Kaplan et al. (2020)과 Hoffmann et al. (2022)은 코사인 LRS의 하이퍼파라미터를 면밀히 조사하여 후속 사전 학습 작업을 위한 기초 작업을 수행했습니다. 이 중에서도 DeepSeek(Bi et al., 2024)는 저희가 제안한 WSD LRS와 가장 유사합니다. 배치 크기 스케줄링과 관련하여 Smith et al. (2017)은 학습 속도 감소의 대안으로 배치 크기를 늘리는 것을 옹호하는데, 이 전략은 최근 Yi-9B(Young et al., 2024)에서 채택한 전략입니다.