In LLMs, MoEs allow to train an extremely large model than is then only partially instantiated during inference when some of the experts are turned off wherever the gating/weighting function has a low weight assigned to them. As an example, the GLaM model has 1.2 trillion parameters, but during inference only 2 out of the 64 experts are used [84].
LLMs에서 MoEs는 일부 전문가가 비활성화될 때 게이팅/가중 함수에 낮은 가중치가 할당되는 경우 추론 중에만 부분적으로 인스턴스화되는 매우 큰 모델을 훈련할 수 있게 합니다. 예를 들어, GLaM 모델은 1.2조 개의 파라미터를 가지고 있지만, 추론 중에는 64명의 전문가 중 2명만 사용됩니다 [84].
LLM에서 MoE를 사용하면 매우 큰 모델을 훈련한 다음 추론 중에 일부 전문가가 꺼지면 게이팅/가중치 함수에 할당된 가중치가 낮은 경우 일부 전문가만 인스턴스화할 수 있습니다. 예를 들어, GLaM 모델은 1조 2,000억 개의 파라미터를 가지고 있지만 추론 중에는 64개의 전문가 중 2개만 사용됩니다[84].