**Mixture-of-Experts.** For the above three types of architectures, we can further extend them via the mixture-of-experts (MoE) scaling, in which a subset of neural network weights for each input are sparsely activated, _e.g.,_ Switch Transformer [25] and GLaM [112]. The major merit is that MoE is a flexible way to scale up the model parameter while maintaining a constant computational cost [25]. It has been shown that substantial performance improvement can be observed by increasing either the number of experts or the total parameter size [246]. Despite the merits, training large MoE models may suffer from instability issues due to the complex, hard-switching nature of the routing operation. To enhance the training stability of MoE-based language models, techniques such as selectively using high-precision tensors in the routing module or initializing the model with a smaller range have been introduced [25]. More recently, there is widespread speculation that GPT-4 has been developed based on the MoE architecture, but without official verification.
**Mixture-of-Experts**. 위의 세 가지 유형의 아키텍처에 대해, 우리는 Mixture-of-Experts (MoE) scaling을 통해 이를 더욱 확장할 수 있는데, 여기에는 각 입력에 대한 신경망 가중치의 하위 집합이 드물게 활성화되는 Switch Transformer[25] 및 GLaM[112]과 같은 MoE scaling을 통해 이를 더욱 확장할 수 있습니다. 가장 큰 장점은 MoE는 일정한 계산 비용을 유지하면서 모델 파라미터를 확장할 수 있는 유연한 방법이라는 점입니다[25]. 전문가 수를 늘리거나 총 파라미터 크기를 늘리면 상당한 성능 향상을 관찰할 수 있다는 것이 입증되었습니다[246]. 장점에도 불구하고 대규모 MoE 모델을 훈련할 때는 복잡한 라우팅 작업으로 인해 불안정한 문제가 발생할 수 있습니다. MoE 기반 언어 모델의 훈련 안정성을 높이기 위해 라우팅 모듈에서 고정밀 텐서를 선택적으로 사용하거나 더 작은 범위로 모델을 초기화하는 등의 기술이 도입되었습니다[25]. 최근에는 GPT-4가 MoE 아키텍처를 기반으로 개발되었지만 공식적인 검증 없이 널리 추측되고 있습니다.
**전문가 혼합**. 위의 세 가지 유형의 아키텍처에 대해, 우리는 혼합된 전문가(MoE) 스케일링을 통해 이를 더욱 확장할 수 있는데, 여기에는 각 입력에 대한 신경망 가중치의 하위 집합이 드물게 활성화되는 스위치 트랜스포머[25] 및 GLaM[112]과 같은 전문가 혼합(MoE) 스케일링을 통해 이를 더욱 확장할 수 있습니다. 가장 큰 장점은 MoE는 일정한 계산 비용을 유지하면서 모델 파라미터를 확장할 수 있는 유연한 방법이라는 점입니다[25]. 전문가 수를 늘리거나 총 파라미터 크기를 늘리면 상당한 성능 향상을 관찰할 수 있다는 것이 입증되었습니다[246]. 장점에도 불구하고 대규모 MoE 모델을 훈련할 때는 복잡한 라우팅 작업으로 인해 불안정한 문제가 발생할 수 있습니다. MoE 기반 언어 모델의 훈련 안정성을 높이기 위해 라우팅 모듈에서 고정밀 텐서를 선택적으로 사용하거나 더 작은 범위로 모델을 초기화하는 등의 기술이 도입되었습니다[25]. 최근에는 GPT-4가 MoE 아키텍처를 기반으로 개발되었지만 공식적인 검증 없이 널리 추측되고 있습니다.