Finally, it is important to note that MoEs can be used as a component of any architecture regardless of whether it is based on attention or not. In fact, MoEs have also been applied to SSM-based LLMs like Mamba citepioro2024moemamba. We should continue to see MoE-driven improvements in the future regardless of the underlying architecture.
마지막으로, MoEs는 주의(attention) 기반인지 여부에 관계없이 모든 아키텍처의 구성 요소로 사용할 수 있다는 점을 주목할 필요가 있습니다. 실제로, MoEs는 Mamba citepioro2024moemamba와 같은 SSM 기반 LLM에도 적용되었습니다. 우리는 기본 아키텍처와 관계없이 MoE에 의해 주도되는 개선을 계속해서 보게 될 것입니다.
마지막으로, MoE는 주의에 기반하는지 여부에 관계없이 모든 아키텍처의 구성 요소로 사용될 수 있다는 점에 유의하는 것이 중요합니다. 실제로 MoE는 Mamba citepioro2024moemamba와 같은 SSM 기반 LLM에도 적용되었습니다. 향후에도 기본 아키텍처에 관계없이 MoE를 기반으로 한 개선 사항을 계속 볼 수 있을 것입니다.