\(\bullet\)**Pre-trained big models using SSMs architecture.** In the pre-trained big model era, the scaling of deep neural networks is an important step for general artificial intelligence. Current big models are built based on CNN or Transformer networks, and seldom of them adopt the SSMs architecture. Recently, Jamba [136] released by AI21Labs is a novel large language model built by fusing the Transformer, Mamba, and MoE (Mixture-of-Experts). It supports the input of context length up to 256K tokens and also achieves comparable performance with Mixtral-8x7B [266] and Llama-2 7OB [225]. The study on building pure Mamba or hybrid architectures will be a promising direction for pre-trained big models.
\(\bullet\)**SSM 아키텍처를 사용한 사전 학습된 대형 모델.** 사전 학습된 대형 모델 시대에는 심층 신경망의 확장이 일반 인공 지능을 위한 중요한 단계입니다. 현재의 대형 모델은 CNN 또는 Transformer 네트워크를 기반으로 구축되며, SSM 아키텍처를 채택하는 경우는 거의 없습니다. 최근 AI21Labs에서 공개한 Jamba [136]는 Transformer, Mamba, 및 MoE(Mixture-of-Experts)를 융합하여 구축한 새로운 대형 언어 모델입니다. 최대 256K 토큰의 문맥 길이 입력을 지원하며 Mixtral-8x7B [266] 및 Llama-2 7OB [225]와 비슷한 성능을 달성합니다. 순수한 Mamba 또는 하이브리드 아키텍처를 구축하는 연구는 사전 학습된 대형 모델을 위한 유망한 방향이 될 것입니다.
\(\bullet\)**SSM 아키텍처를 사용한 사전 학습된 대형 모델.** 사전 학습된 대형 모델 시대에는 심층 신경망의 확장이 일반 인공 지능을 위한 중요한 단계입니다. 현재의 대형 모델은 CNN 또는 트랜스포머 네트워크를 기반으로 구축되며, SSM 아키텍처를 채택하는 경우는 거의 없습니다. 최근 AI21Labs에서 공개한 Jamba [136]는 트랜스포머, 맘바, MoE(Expert 혼합)를 융합하여 구축한 새로운 대형 언어 모델입니다. 최대 256K 토큰의 문맥 길이 입력을 지원하며 Mixtral-8x7B [266] 및 Llama-2 7OB [225]와 비슷한 성능을 달성합니다. 순수한 맘바 또는 하이브리드 아키텍처를 구축하는 연구는 사전 학습된 대형 모델을 위한 유망한 방향이 될 것입니다.