Hyper-parameters have a significant impact on the performance of a model. However, adjusting hyper-parameters for each model in traditional training is not feasible for LLMs. Even for SLM like MiniCPM, extensive experiments on hyper-parameters search take a lot of resources. Tensor Program (Yang et al., 2022; 2023) proposes a framework to stabilize the hyper-parameters for models with different scales. The main part of the Tensor Program is the width scaling (Yang et al., 2022) and the depth scaling (Yang et al., 2023). The former technique supports CerebrasGPT (Dey et al., 2023) to predict the loss of LLMs more accurately. In MiniCPM, we use both two scaling techniques. The specific scaling operations is listed in Table 7. We do not apply the attention softmax scaling techniques (Yang et al., 2022). Despite Yang et al. (2023) observing that depth scaling for a network with block depth larger than two is not satisfying, we find the resulting optimal learning rate is stable empirically. Details of the hyper-parameters and Tensor Program Operations are in Appendix A.1.
하이퍼파라미터는 모델 성능에 큰 영향을 미칩니다. 그러나 기존 훈련에서 각 모델에 대한 하이퍼파라미터를 조정하는 것은 LLM에 적용할 수 없습니다. MiniCPM과 같은 SLM의 경우에도 하이퍼파라미터 검색에 대한 광범위한 실험은 많은 리소스를 소모합니다. Tensor Program(Yang et al., 2022; 2023)은 다양한 규모의 모델에 대한 하이퍼파라미터를 안정화하는 프레임워크를 제안합니다. Tensor Program의 주요 부분은 width scaling(Yang et al., 2022)과 depth scaling(Yang et al., 2023)입니다. 전자 기법은 CerebrasGPT(Dey et al., 2023)가 LLM의 loss를 더 정확하게 예측할 수 있도록 지원합니다. MiniCPM에서는 두 가지 scaling 기법을 모두 사용합니다. 구체적인 scaling 연산은 표 7에 나와 있습니다. attention softmax scaling 기법(Yang et al., 2022)은 적용하지 않았습니다. Yang et al. (2023)은 블록 깊이가 2보다 큰 네트워크에 대한 depth scaling이 만족스럽지 않다는 것을 관찰했지만, 우리는 결과적으로 최적의 learning rate가 경험적으로 안정적이라는 것을 발견했습니다. 하이퍼파라미터 및 Tensor Program Operations에 대한 자세한 내용은 부록 A.1에 나와 있습니다.
하이퍼파라미터는 모델 성능에 큰 영향을 미칩니다. 그러나 기존 훈련에서 각 모델에 대한 하이퍼파라미터를 조정하는 것은 LLM에 적용할 수 없습니다. 미니CPM과 같은 SLM의 경우에도 하이퍼파라미터 검색에 대한 광범위한 실험은 많은 리소스를 소모합니다. 텐서 프로그램(Yang et al., 2022; 2023)은 다양한 규모의 모델에 대한 하이퍼파라미터를 안정화하는 프레임워크를 제안합니다. 텐서 프로그램의 주요 부분은 너비 스케일링(Yang et al., 2022)과 깊이 스케일링(Yang et al., 2023)입니다. 전자 기법은 CerebrasGPT(Dey et al., 2023)가 LLM의 손실을 더 정확하게 예측할 수 있도록 지원합니다. MiniCPM에서는 두 가지 스케일링 기법을 모두 사용합니다. 구체적인 스케일링 연산은 표 7에 나와 있습니다. 주의도 소프트맥스 스케일링 기법(Yang et al., 2022)은 적용하지 않았습니다. Yang et al. (2023)은 블록 깊이가 2보다 큰 네트워크에 대한 깊이 스케일링이 만족스럽지 않다는 것을 관찰했지만, 우리는 결과적으로 최적의 학습 속도가 경험적으로 안정적이라는 것을 발견했습니다. 하이퍼파라미터 및 텐서 프로그램 작업에 대한 자세한 내용은 부록 A.1에 나와 있습니다.