Although we target at training SLMs that can be quickly deployed onto end devices, we envision that many aspects of model training are universal across scales. Extensive experiments should be conducted through a SLM to explore the limit of SLM before transferring the experience into LLMs. These experiments takes the spirit of wind tunnel testing in developing an aircraft, thus we name it Model Wind Tunnel Experiments (MWTE). In this paper, the MWTE contains three parts: (1) Hyper-parameters; (2) Optimal Batch-size Scaling; and (3) Optimal Learning Rate Stability.
최종 디바이스에 빠르게 배포할 수 있는 SLM을 훈련하는 것을 목표로 하지만, 모델 훈련의 많은 측면이 규모에 관계없이 보편적이라고 생각합니다. 이러한 경험을 LLM으로 전달하기 전에 SLM을 통해 광범위한 실험을 수행하여 SLM의 한계를 탐색해야 합니다. 이러한 실험은 항공기를 개발할 때 윈드 터널 테스트를 하는 정신을 담고 있으므로 모델 윈드 터널 실험(MWTE)이라고 부릅니다. 이 백서에서 MWTE는 (1) Hyper-parameters, (2) Optimal Batch-size Scaling, (3) Optimal Learning Rate Stability의 세 부분으로 구성됩니다.
최종 디바이스에 빠르게 배포할 수 있는 SLM을 훈련하는 것을 목표로 하지만, 모델 훈련의 많은 측면이 규모에 관계없이 보편적이라고 생각합니다. 이러한 경험을 LLM으로 전달하기 전에 SLM을 통해 광범위한 실험을 수행하여 SLM의 한계를 탐색해야 합니다. 이러한 실험은 항공기를 개발할 때 윈드 터널 테스트를 하는 정신을 담고 있으므로 모델 윈드 터널 실험(MWTE)이라고 부릅니다. 이 백서에서 MWTE는 (1) 하이퍼파라미터, (2) 최적의 배치 크기 스케일링, (3) 최적의 학습 속도 안정성의 세 부분으로 구성됩니다.