For the 100-exposure scaling law, we additionally compare three configurations: \((topk,cap\_factor)=(1,2),(2,1),(2,2)\), finding minimal differences among them as shown in Figure 17. Remember from Section 7 that differences in model architecture usually become apparent in the insufficient training regime; this is why we opt for 100-exposure instead of 1000-exposure. Notably, \((topk,cap\_factor)=(2,2)\) performs best (among the three) for deep models, such as GPT2-16-4 with 32 experts.
100-exposure scaling law의 경우, \((topk,cap\_factor)=(1,2),(2,1),(2,2)\)의 세 가지 구성을 추가로 비교하여 그림 17과 같이 그들 사이에서 최소한의 차이를 찾습니다. 모델 아키텍처의 차이점은 일반적으로 부족한 훈련 체제에서 분명해진다는 것을 섹션 7에서 기억하십시오. 따라서 1000-exposure 대신 100-exposure를 선택합니다. 특히, \((topk,cap\_factor)=(2,2)\)는 32명의 전문가가 있는 GPT2-16-4와 같은 심층 모델에 대해 (세 가지 중) 가장 우수한 성능을 발휘합니다.
100노출 스케일링 법칙의 경우, \((topk,cap\_factor)=(1,2),(2,1),(2,2)\)의 세 가지 구성을 추가로 비교하여 그림 17과 같이 그들 사이에서 최소한의 차이를 찾습니다. 모델 아키텍처의 차이점은 일반적으로 부족한 훈련 체제에서 분명해진다는 것을 섹션 7에서 기억하십시오. 따라서 1000노출 대신 100노출을 선택합니다. 특히, \((topk,cap\_factor)=(2,2)\)는 32명의 전문가가 있는 GPT2-16-4와 같은 심층 모델에 대해 (세 가지 중) 가장 우수한 성능을 발휘합니다.