Figure 17: Scaling laws for the GPT2 MoE models with 32 experts on the \(\mathsf{bioS}(N)\) data for \(\mathsf{100}\) exposures. This figure complements Figure 16 by comparing the effects of varying _topk_ and _cap_factor_ in the 100-exposure insufficiently-trained regime. **Conclusion:** minimal differences are observed across these settings, though deeper models (e.g., GPT2-16-4 with 32 experts) seem easier to train with _topk_ = _cap_factor_ = 2.
그림 17: 100회 노출에 대한 \(\mathsf{bioS}(N)\) 데이터에서 32명의 전문가가 있는 GPT2 MoE 모델의 Scaling laws. 이 그림은 100회 노출의 경우 부족한 훈련 체제에서 _topk_와 _cap_factor_의 변화 효과를 비교하여 그림 16을 보완합니다. **결론:** 이러한 설정에서 최대 차이는 관찰되지 않지만, 더 깊은 모델(예: 32명의 전문가가 있는 GPT2-16-4)은 _topk_ = _cap_factor_ = 2로 훈련하기가 더 쉬운 것으로 보입니다.
그림 17: 100회 노출에 대한 \(\mathsf{bioS}(N)\) 데이터에서 32명의 전문가가 있는 GPT2 MoE 모델의 스케일링 법칙. 이 그림은 100회 노출의 경우 부족한 훈련 체제에서 _topk_와 _cap_factor_의 변화 효과를 비교하여 그림 16을 보완합니다. **결론:** 이러한 설정에서 최대 차이는 관찰되지 않지만, 더 깊은 모델(예: 32명의 전문가가 있는 GPT2-16-4)은 _topk_ = _cap_factor_ = 2로 훈련하기가 더 쉬운 것으로 보입니다.