In the post-deep learning era, the Transformer architecture has demonstrated its powerful performance across pre-trained big models and various downstream tasks. However, the enormous computational demands of this architecture have deterred many researchers. To further reduce the complexity of attention models, numerous efforts have been made to design more efficient methods. Among them, the State Space Model (SSM), as a possible replacement for the self-attention based Transformer model, has drawn more and more attention in recent years. In this paper, we give the first comprehensive review of these works and also provide experimental comparisons and analysis to better demonstrate the features and advantages of SSM. Specifically, we first give a detailed description of principles to help the readers quickly capture the key ideas of SSM. After that, we dive into the reviews of existing SSMs and their various applications, including natural language processing, computer vision, graph, multi-modal and multi-media, point cloud/event stream, time series data, and other domains. In addition, we give statistical comparisons and analysis of these models and hope it helps the readers to understand the effectiveness of different structures on various tasks. Then, we propose possible research points in this direction to better promote the development of the theoretical model and application of SSM. More related works will be continuously updated on the following GitHub [https://github.com/Event-AHU/Mamba_State_Space_Model_Paper_List](https://github.com/Event-AHU/Mamba_State_Space_Model_Paper_List).
딥러닝 이후 Transformer 아키텍처는 사전 학습된 대형 모델과 다양한 다운스트림 작업 전반에서 강력한 성능을 입증했습니다. 그러나 이 아키텍처의 막대한 계산 요구 사항으로 인해 많은 연구자들이 막히고 있습니다. 이러한 attention 모델의 복잡성을 더욱 줄이기 위해 더 효율적인 방법을 설계하기 위한 수많은 노력이 계속되고 있습니다. 그중에서도 self-attention 기반 Transformer 모델의 대체 가능성으로 주목받고 있는 State Space Model (SSM)은 최근 몇 년 동안 점점 더 많은 관심을 받고 있습니다. 이 논문에서는 이러한 연구에 대한 최초의 종합적인 검토를 제공하고, 실험적 비교와 분석을 통해 SSM의 특징과 장점을 더 잘 보여줄 수 있도록 노력했습니다. 구체적으로, 먼저 독자가 SSM의 핵심 아이디어를 빠르게 파악할 수 있도록 원리를 자세히 설명합니다. 그런 다음 자연어 처리, 컴퓨터 비전, 그래프, 다중 모달 및 멀티미디어, 포인트 클라우드/이벤트 스트림, 시계열 데이터 및 기타 영역을 포함한 기존 SSM과 다양한 응용 분야에 대한 검토를 살펴봅니다. 또한 이러한 모델에 대한 통계적 비교 및 분석을 제공하여 다양한 작업에 대한 다양한 구조의 효과를 이해하는 데 도움이 되기를 바랍니다. 그런 다음 이 방향으로 이론적 모델의 발전과 SSM의 적용을 더 잘 촉진하기 위해 가능한 연구 포인트를 제안합니다. 관련 작업은 다음 GitHub [https://github.com/Event-AHU/Mamba_State_Space_Model_Paper_List](https://github.com/Event-AHU/Mamba_State_Space_Model_Paper_List)에서 지속적으로 업데이트될 예정입니다.
딥러닝 이후 트랜스포머 아키텍처는 사전 학습된 대형 모델과 다양한 다운스트림 작업 전반에서 강력한 성능을 입증했습니다. 그러나 이 아키텍처의 막대한 계산 요구 사항으로 인해 많은 연구자들이 막히고 있습니다. 이러한 관심 모델의 복잡성을 더욱 줄이기 위해 더 효율적인 방법을 설계하기 위한 수많은 노력이 계속되고 있습니다. 그중에서도 자기 주의 기반 트랜스포머 모델의 대체 가능성으로 주목받고 있는 상태 공간 모델(SSM)은 최근 몇 년 동안 점점 더 많은 관심을 받고 있습니다. 이 논문에서는 이러한 연구에 대한 최초의 종합적인 검토를 제공하고, 실험적 비교와 분석을 통해 SSM의 특징과 장점을 더 잘 보여줄 수 있도록 노력했습니다. 구체적으로, 먼저 독자가 SSM의 핵심 아이디어를 빠르게 파악할 수 있도록 원리를 자세히 설명합니다. 그런 다음 자연어 처리, 컴퓨터 비전, 그래프, 다중 모달 및 멀티미디어, 포인트 클라우드/이벤트 스트림, 시계열 데이터 및 기타 영역을 포함한 기존 SSM과 다양한 응용 분야에 대한 검토를 살펴봅니다. 또한 이러한 모델에 대한 통계적 비교 및 분석을 제공하여 다양한 작업에 대한 다양한 구조의 효과를 이해하는 데 도움이 되기를 바랍니다. 그런 다음 이 방향으로 이론적 모델의 발전과 SSM의 적용을 더 잘 촉진하기 위해 가능한 연구 포인트를 제안합니다. 관련 작업은 다음 GitHub [https://github.com/Event-AHU/Mamba_State_Space_Model_Paper_List](https://github.com/Event-AHU/Mamba_State_Space_Model_Paper_List)에서 지속적으로 업데이트될 예정입니다.