An important class of such class of post-attention models are the so called State Space Models (SSMs). While the notion of State Space Models has a long history in machine learning, it should be noted that in the context of language models, SSM is usually used in reference to the newer Structure State Space Model architecture or S4 for short (see Gu et al. [29]). Some recent models in this category are Mamba [30], Hyena [210], and Striped Hyena [211].
이러한 후 attention 모델 클래스 중 중요한 클래스는 소위 State Space Models (SSMs)입니다. State Space Models의 개념은 머신 러닝에서 오랜 역사를 가지고 있지만, 언어 모델의 맥락에서 SSM은 일반적으로 최신 Structure State Space Model 아키텍처 또는 줄여서 S4를 참조할 때 사용된다는 점에 유의해야 합니다(Gu et al. [29]). 이 범주에 속하는 최근 모델로는 Mamba [30], Hyena [210], Striped Hyena [211] 등이 있습니다.
이러한 후 주의 모델 클래스 중 중요한 클래스는 소위 상태 공간 모델(SSM)입니다. 상태 공간 모델의 개념은 머신 러닝에서 오랜 역사를 가지고 있지만, 언어 모델의 맥락에서 SSM은 일반적으로 최신 구조 상태 공간 모델 아키텍처 또는 줄여서 S4를 참조할 때 사용된다는 점에 유의해야 합니다(Gu et al. [29]). 이 범주에 속하는 최근 모델로는 맘바[30], 하이에나[210], 줄무늬 하이에나[211] 등이 있습니다.