**Parameter 9** (Figure 16, Figure 17).: In the 1000-exposure setting for GPT2-MoE models with 32 experts, we slightly increase the learning rates while keeping other parameters nearly identical to Parameter 1:
**Parameter 9**(그림 16, 그림 17): 32명의 전문가가 있는 GPT2-MoE 모델의 노출 횟수 1000 설정에서는 다른 parameters를 Parameter 1과 거의 동일하게 유지하면서 learning rates를 약간 높입니다:
**파라미터 9**(그림 16, 그림 17): 32명의 전문가가 있는 GPT2-MoE 모델의 노출 횟수 1000 설정에서는 다른 파라미터를 파라미터 1과 거의 동일하게 유지하면서 학습 속도를 약간 높입니다: