To further decrease the computing cost, while capturing long-range dependency and maintaining high performance, many new sparse attention based models or new neural network paradigms are proposed [24, 25, 26, 27, 28]. Among them, State Space Model (e.g., Mamba [12], S4 [29], S4nd [30]), as shown in Fig. 1, becomes the center of attention. As shown in the left part of Fig. 2, the amount of SSM-related papers released shows the trend of explosive growth. The State Space Model (SSM) is a framework initially proposed to model a dynamic system using state variables in the field of control theory, computational neuroscience, etc 1. When adapting this concept for deep learning, we usually refer to linear invariant (or stationary) systems. The original SSM is a continuous-dynamic system that can be discretized for _recurrent_ and _convolutional_ views for the computer to handle. SSMs can be adopted for various data processing and feature learning, including image/video data, text data, structured graph data, event streams/point cloud data, multi-modal/multi-media data, audio and speech, time series data, tabular data, etc. It can also be utilized to build efficient generative models, such as SSMs-based diffusion generative models [31, 32, 33]. In order to help readers better understand the SSM and keep track of the latest research progress and various applications, this paper conducts a systematic review of the field and verifies the performance of the SSM model in downstream tasks experimentally. It is hoped that this review can better lead and promote the development of the field of SSM.
장거리 종속성을 포착하고 높은 성능을 유지하면서 계산 비용을 더욱 낮추기 위해 많은 새로운 희소 attention 기반 모델 또는 새로운 neural network 패러다임이 제안되었습니다[24, 25, 26, 27, 28]. 그중에서도 그림 1과 같이 State Space Model(예: Mamba[12], S4[29], S4nd[30])이 관심의 중심이 되고 있습니다. 그림 2의 왼쪽에 표시된 것처럼 SSM 관련 논문 발표량은 폭발적으로 증가하는 추세를 보입니다. State Space Model(SSM)은 제어 이론, computational neuroscience 등의 분야에서 state 변수를 사용하여 동적 시스템을 모델링하기 위해 처음 제안된 프레임워크입니다. 이 개념을 deep learning에 적용할 때는 일반적으로 linear invariant(또는 stationary) 시스템을 의미합니다. 원래의 SSM은 연속적인 동적 시스템으로, 컴퓨터가 처리할 수 있도록 _recurrent_ 및 _convolutional_ 뷰로 이산화할 수 있습니다. SSM은 이미지/비디오 데이터, 텍스트 데이터, 구조화된 그래프 데이터, 이벤트 스트림/포인트 클라우드 데이터, 멀티모달/멀티미디어 데이터, 오디오 및 음성, 시계열 데이터, 표 형식 데이터 등 다양한 데이터 처리 및 특징 학습에 적용될 수 있습니다. 또한 SSM 기반 diffusion generative 모델[31, 32, 33]과 같은 효율적인 생성 모델을 구축하는 데에도 활용할 수 있습니다. 이 백서에서는 독자들이 SSM을 더 잘 이해하고 최신 연구 진행 상황과 다양한 응용 분야를 파악할 수 있도록 이 분야에 대한 체계적인 검토를 수행하고 다운스트림 작업에서 SSM 모델의 성능을 실험적으로 검증합니다. 이 리뷰가 SSM 분야의 발전을 더 잘 이끌고 촉진하는 데 도움이 되기를 바랍니다.
장거리 종속성을 포착하고 높은 성능을 유지하면서 계산 비용을 더욱 낮추기 위해 많은 새로운 희소 주의 기반 모델 또는 새로운 신경망 패러다임이 제안되었습니다[24, 25, 26, 27, 28]. 그중에서도 그림 1과 같이 상태 공간 모델(예: 맘바[12], S4[29], S4nd[30])이 관심의 중심이 되고 있습니다. 그림 2의 왼쪽에 표시된 것처럼 SSM 관련 논문 발표량은 폭발적으로 증가하는 추세를 보입니다. 상태 공간 모델(SSM)은 제어 이론, 계산 신경과학 등의 분야에서 상태 변수를 사용하여 동적 시스템을 모델링하기 위해 처음 제안된 프레임워크입니다. 이 개념을 딥러닝에 적용할 때는 일반적으로 선형 불변(또는 정지) 시스템을 의미합니다. 원래의 SSM은 연속적인 동적 시스템으로, 컴퓨터가 처리할 수 있도록 _반복_ 및 _컨볼루션_ 뷰로 이산화할 수 있습니다. SSM은 이미지/비디오 데이터, 텍스트 데이터, 구조화된 그래프 데이터, 이벤트 스트림/포인트 클라우드 데이터, 멀티모달/멀티미디어 데이터, 오디오 및 음성, 시계열 데이터, 표 형식 데이터 등 다양한 데이터 처리 및 특징 학습에 적용될 수 있습니다. 또한 SSM 기반 확산 생성 모델[31, 32, 33]과 같은 효율적인 생성 모델을 구축하는 데에도 활용할 수 있습니다. 이 백서에서는 독자들이 SSM을 더 잘 이해하고 최신 연구 진행 상황과 다양한 응용 분야를 파악할 수 있도록 이 분야에 대한 체계적인 검토를 수행하고 다운스트림 작업에서 SSM 모델의 성능을 실험적으로 검증합니다. 이 리뷰가 SSM 분야의 발전을 더 잘 이끌고 촉진하는 데 도움이 되기를 바랍니다.