On the other end of the spectrum, it is worth mentioning that there are some attention-compatible architectural mechanisms that have been recently gaining steam and proving their value in creating better and more powerful LLMs. Probably the best example of such mechanism is Mixture of Experts (MoE). MoEs have been around in machine learning for years, even before the Deep Learning Era [213], but they have been gaining popularity since then, and particularly in the context of Transformer models and LLMs.
다른 쪽 스펙트럼에서는 최근 주목할 만한 attention-compatible 아키텍처 메커니즘이 있으며, 더 나은 더 강력한 LLM을 만드는 데 가치를 입증하고 있다는 점을 언급할 가치가 있습니다. 아마도 이러한 메커니즘의 가장 좋은 예는 Mixture of Experts (MoE)일 것입니다. MoE는 딥러닝 시대 이전부터[213] 머신러닝 분야에서 수년 동안 사용되어 왔지만, 그 이후로 특히 Transformer 모델과 LLM의 맥락에서 인기를 얻고 있습니다.
다른 쪽 스펙트럼에서는 최근 주목할 만한 아키텍처 메커니즘이 있으며, 더 나은 더 강력한 LLM을 만드는 데 가치를 입증하고 있다는 점을 언급할 가치가 있습니다. 아마도 이러한 메커니즘의 가장 좋은 예는 전문가 혼합(MoE)일 것입니다. MoE는 딥러닝 시대 이전부터[213] 머신러닝 분야에서 수년 동안 사용되어 왔지만, 그 이후로 특히 트랜스포머 모델과 LLM의 맥락에서 인기를 얻고 있습니다.