And more recently, **Mixture of Experts (MoE)**[130, 131] have become very popular in LLM space too. MoEs enable models to be pre-trained with much less compute, which means one can dramatically scale up the model or dataset size with the same compute budget as a dense model. MoE consists of two main elements: **Sparse MoE layers**, which are used instead of dense feed-forward network (FFN) layers, and have a certain number of "experts" (e.g. 8), in which each expert is a neural network. In practice, the experts are FFNs, but they can also be more complex networks. **A gate network or router**, that determines which tokens are sent to which expert. It is worth noting that, one can send a token to more than one expert. How to route a token to an expert is one of the big decisions when working with MoEs - the router is composed of learned parameters and is pretrained at the same time as the rest of the network. Fig 29 provides an illustration of a Switch Transformer encoder block, which are used in MoE.
그리고 최근에는 **Mixture of Experts (MoE)**[130, 131]도 LLM 영역에서 큰 인기를 얻고 있습니다. MoE를 사용하면 훨씬 적은 연산으로 모델을 pre-trained할 수 있으므로 dense 모델과 동일한 연산 예산으로 모델 또는 데이터 세트 크기를 획기적으로 확장할 수 있습니다. MoE는 두 가지 주요 요소로 구성됩니다: **Sparse MoE layers**는 dense feed-forward network (FFN) 레이어 대신 사용되며, 각 전문가가 신경망인 특정 수의 "experts"(예: 8)를 가지고 있습니다. 실제로 experts는 FFN이지만 더 복잡한 네트워크일 수도 있습니다. **A gate network or router**는 어떤 tokens이 어떤 expert에게 전송되는지 결정합니다. 한 token을 두 개 이상의 expert에게 보낼 수 있다는 점에 주목할 필요가 있습니다. token을 expert에게 라우팅하는 방법은 MoE로 작업할 때 중요한 결정 중 하나이며, router는 학습된 파라미터로 구성되며 네트워크의 나머지 부분과 동시에 pre-trained됩니다. 그림 29는 MoE에 사용되는 Switch Transformer encoder 블록의 예시를 제공합니다.
그리고 최근에는 **전문가 혼합(MoE)**[130, 131]도 LLM 영역에서 큰 인기를 얻고 있습니다. MoE를 사용하면 훨씬 적은 연산으로 모델을 사전 학습할 수 있으므로 밀도 모델과 동일한 연산 예산으로 모델 또는 데이터 세트 크기를 획기적으로 확장할 수 있습니다. MoE는 두 가지 주요 요소로 구성됩니다: **스파스 MoE 레이어**는 밀도 피드포워드 네트워크(FFN) 레이어 대신 사용되며, 각 전문가가 신경망인 특정 수의 "전문가"(예: 8)를 가지고 있습니다. 실제로 전문가는 FFN이지만 더 복잡한 네트워크일 수도 있습니다. **게이트 네트워크 또는 라우터**는 어떤 토큰이 어떤 전문가에게 전송되는지 결정합니다. 한 토큰을 두 개 이상의 전문가에게 보낼 수 있다는 점에 주목할 필요가 있습니다. 토큰을 전문가에게 라우팅하는 방법은 MoE로 작업할 때 중요한 결정 중 하나이며, 라우터는 학습된 파라미터로 구성되며 네트워크의 나머지 부분과 동시에 사전 학습됩니다. 그림 29는 MoE에 사용되는 스위치 트랜스포머 인코더 블록의 예시를 제공합니다.