is a universal and extensible method based on the world model, which overcomes the limitations of fixed parameter range in various fields in terms of the input, dimension, and reward of data. For long-range prediction, Naman et al. [74] introduce a novel approach to sequence modeling, called Spectral State SSM, which is based on learning linear dynamical systems (LDS) using the spectral filtering algorithm. This architecture guarantees stable and efficient learning even for marginally stable symmetric LDS. For reinforcement learning tasks, HIEROS [75], a hierarchical policy aims at improving sample efficiency. HIEROS utilizes a hierarchical world model, specifically an S5 layer-based world model (S5WM), and an efficient time-balanced sampling method. It outperforms existing approaches in terms of mean and median normalized human scores on the Atari 100k benchmark and demonstrates superior exploration capabilities. Cheng et al. [86] explore how modern State Space Models, Vim, can enhance the performance of convolutional neural networks (CNN) and visual Transformers (ViT) in the field of single image super-resolution (SISR) through a wider range of activation regions. VMRNN [103] is a new recurrent unit that combines Vision Mamba blocks with LSTM for precise and efficient spatiotemporal forecasting. Shen et al. [104] introduce Gamba, an end-to-end, amortized 3D reconstruction model from single-view images. Their main discovery involves utilizing a substantial number of 3D Gaussians to enhance the efficiency of the 3D Gaussian splitting process. Additionally, they introduce a Mamba-based sequential network, enabling context-dependent reasoning and linear scalability with sequence (token) length, aiming to tackle high memory demands and resource-intensive rendering processes. Wang et al. [105] introduce a novel visual Mamba-based framework called VMambaMorph, which has cross-scanning modules for deformable 3D image registration. Li et al. [107] propose a novel approach called SpikeMba for dealing with temporal video localization tasks. SpikeMba integrates Impulse Neural Networks and State Space Models (SSMs) to efficiently capture the fine-grained relationships between multimodal features. Zou et al. [116] proposes a new remote photoplethysmography (rPPG) signal detection method based on Mamba, called RhythmMamba. Rhythmamba is an end-to-end method that employs multi-temporal constraints to capture both periodic patterns and short-term trends in rPPG. Additionally, it utilizes frequency domain feed-forward to enhance Mamba's ability to robustly interpret the quasi-periodic rPPG patterns.
는 데이터의 입력, 차원, 보상 측면에서 다양한 분야에서 고정된 파라미터 범위의 한계를 극복하는 월드 모델에 기반한 보편적이고 확장 가능한 방법입니다. 장거리 예측을 위해 Naman 등 [74]은 스펙트럼 필터링 알고리즘을 사용하여 선형 동적 시스템(LDS)을 학습하는 것에 기반한 Spectral State SSM이라는 새로운 시퀀스 모델링 접근 방식을 소개합니다. 이 아키텍처는 경계적으로 안정적인 대칭 LDS에 대해서도 안정적이고 효율적인 학습을 보장합니다. Reinforcement learning 작업의 경우, 계층적 정책인 HIEROS [75]는 샘플 효율성을 개선하는 것을 목표로 합니다. HIEROS는 계층적 월드 모델, 특히 S5 레이어 기반 월드 모델(S5WM)과 효율적인 시간 균형 샘플링 방법을 활용합니다. 이 모델은 Atari 100k 벤치마크에서 평균 및 중앙값 정규화된 인간 점수 측면에서 기존 접근 방식보다 뛰어난 성능을 발휘하며 뛰어난 탐색 기능을 입증했습니다. Cheng 등 [86]은 더 넓은 범위의 활성화 영역을 통해 최신 State Space Models인 Vim이 단일 이미지 슈퍼 해상도(SISR) 분야에서 컨볼루션 신경망(CNN)과 비주얼 Transformers(ViT)의 성능을 향상시키는 방법을 탐구합니다. VMRNN [103]은 정밀하고 효율적인 시공간 예측을 위해 Vision Mamba 블록과 LSTM을 결합한 새로운 순환 유닛입니다. Shen 등 [104]은 단일 뷰 이미지에서 엔드투엔드, 상각된 3D 재구성 모델인 Gamba를 소개합니다. 그들의 주요 발견은 3D 가우시안 분할 프로세스의 효율성을 향상시키기 위해 상당한 수의 3D 가우시안을 활용하는 것입니다. 또한 컨텍스트에 따라 추론하고 시퀀스(토큰) 길이에 따라 선형적으로 확장할 수 있는 Mamba 기반 순차적 네트워크를 소개하여 높은 메모리 요구량과 리소스 집약적인 렌더링 프로세스를 해결하는 것을 목표로 합니다. Wang 등 [105]은 변형 가능한 3D 이미지 등록을 위한 크로스 스캐닝 모듈을 갖춘 VMambaMorph라는 새로운 시각적 Mamba 기반 프레임워크를 소개합니다. Li 등 [107]은 Impulse Neural Networks와 State Space Models (SSMs)을 통합하여 다중 모달 특징 간의 세분화된 관계를 효율적으로 캡처하는 SpikeMba라는 새로운 접근 방식을 제안합니다. Zou 등 [116]은 RhythmMamba라는 Mamba를 기반으로 한 새로운 원격 광용적 측정(rPPG) 신호 감지 방법을 제안합니다. RhythmMamba는 다중 시간 제약을 사용하여 rPPG의 주기적 패턴과 단기 추세를 모두 캡처하는 엔드투엔드 방식입니다. 또한 주파수 도메인 피드포워드를 활용하여 Mamba의 준주기적 rPPG 패턴 해석 능력을 강화합니다.
는 데이터의 입력, 차원, 보상 측면에서 다양한 분야에서 고정된 파라미터 범위의 한계를 극복하는 월드 모델에 기반한 보편적이고 확장 가능한 방법입니다. 장거리 예측을 위해 Naman 등 [74]은 스펙트럼 필터링 알고리즘을 사용하여 선형 동적 시스템(LDS)을 학습하는 것에 기반한 스펙트럼 상태 SSM이라는 새로운 시퀀스 모델링 접근 방식을 소개합니다. 이 아키텍처는 경계적으로 안정적인 대칭 LDS에 대해서도 안정적이고 효율적인 학습을 보장합니다. 강화 학습 작업의 경우, 계층적 정책인 HIEROS [75]는 샘플 효율성을 개선하는 것을 목표로 합니다. HIEROS는 계층적 월드 모델, 특히 S5 레이어 기반 월드 모델(S5WM)과 효율적인 시간 균형 샘플링 방법을 활용합니다. 이 모델은 Atari 100k 벤치마크에서 평균 및 중앙값 정규화된 인간 점수 측면에서 기존 접근 방식보다 뛰어난 성능을 발휘하며 뛰어난 탐색 기능을 입증했습니다. Cheng 등 [86]은 더 넓은 범위의 활성화 영역을 통해 최신 상태 공간 모델인 Vim이 단일 이미지 슈퍼 해상도(SISR) 분야에서 컨볼루션 신경망(CNN)과 비주얼 트랜스포머(ViT)의 성능을 향상시키는 방법을 탐구합니다. VMRNN [103]은 정밀하고 효율적인 시공간 예측을 위해 비전 맘바 블록과 LSTM을 결합한 새로운 순환 유닛입니다. Shen 등 [104]은 단일 뷰 이미지에서 엔드투엔드, 상각된 3D 재구성 모델인 Gamba를 소개합니다. 그들의 주요 발견은 3D 가우시안 분할 프로세스의 효율성을 향상시키기 위해 상당한 수의 3D 가우시안을 활용하는 것입니다. 또한 컨텍스트에 따라 추론하고 시퀀스(토큰) 길이에 따라 선형적으로 확장할 수 있는 맘바 기반 순차적 네트워크를 소개하여 높은 메모리 요구량과 리소스 집약적인 렌더링 프로세스를 해결하는 것을 목표로 합니다. Wang 등 [105]은 변형 가능한 3D 이미지 등록을 위한 크로스 스캐닝 모듈을 갖춘 VMambaMorph라는 새로운 시각적 Mamba 기반 프레임워크를 소개합니다. Li 등 [107]은 임펄스 신경망과 상태 공간 모델(SSM)을 통합하여 다중 모달 특징 간의 세분화된 관계를 효율적으로 캡처하는 SpikeMba라는 새로운 접근 방식을 제안합니다. Zou 등 [116]은 리듬맘바라는 맘바를 기반으로 한 새로운 원격 광용적 측정(rPPG) 신호 감지 방법을 제안합니다. Rhythmamba는 다중 시간 제약을 사용하여 rPPG의 주기적 패턴과 단기 추세를 모두 캡처하는 엔드투엔드 방식입니다. 또한 주파수 도메인 피드포워드를 활용하여 맘바의 준주기적 rPPG 패턴 해석 능력을 강화합니다.