GateLoop [170] introduces GateLoop, a fully data-controlled linear RNN using data-controlled gated inputs and outputs for efficient auto-regressive language modeling. A memory horizon dataset for synthetic language modeling is also presented to highlight the superiority of GateLoop by comparing the advantages and disadvantages of data-controlled and non-data-controlled state transitions. A parallel scanning training strategy and an equivalent attention substitution model are also demonstrated. A multi-cohort study on the prediction of acute brain dysfunction states using selective State Space Models [176] develop a data-driven, automated data-driven approach for the prediction of ABD in critically ill patients in the ICU by utilizing rich electronic health record (EHR) data. Their study demonstrated high performance by dynamically predicting delirium, coma, and death during ICU stays and validated on two public datasets. S/D-Mamba [184] introduces two simple Mamba-based models: S-Mamba and D-Mamba, both of which use Mamba Block to extract variable correlations (VC). S-Mamba uses a Mamba Block to handle correlations between variables. D-Mamba is more sensitive to VC by adjusting the parameters compared to S-Mamba. D-Mamba adds an extra Mamba block to the Mamba layer to handle VCs compared to S-Mamba, and the extra Mamba block is more sensitive to correlations between variables by adjusting the parameters. Experimental results show that both models outperform the traditional methods in terms of performance while saving GPU memory and training time. Liu et al. propose a novel method, Mamba4Rec [175], which is proposed to model dependencies between sequences. To demonstrate the performance of Mamba4Rec, this paper experiments on MovieLen-1M, Amazon-Beauty, and Amazon-Video-Games, which reached state-of-the-art performance. Quan et al. [177], propose a novel model to handle multi-channel speech enhancement based on original SpatialNet. They propose oSpatialNet-Mamba which reaches top performance, whose core advantage is the State Space Model. Note that, various tasks have been tested on the model, which all performed well. Schiff et al. introduce a novel bioinformatics model called Caduceus [87], which can bi-directionally and equivalently model the DNA sequence. Based on MambaDNA, the Caduceus is the first family of RC-equivalent and bi-directional long-range DNA language models, which introduces pre-training and fine-tuning strategies. Also, it outperforms previous long-range models on the Genomic benchmarks. Zhang et al. introduce a novel motion-guided tracker and a motion-guided prediction head [88] based on Mamba. Karan et al. [159] proposes SaShiMi, a multi-level structure based on S4 model long sequence modeling. It provides a simple improvement to its parameterization by drawing connections to Hurwitz matrices. In addition, SaShiMi improves non-recursive generation performance in non-recursive states. A new prediction model that combines discrete state space hidden Markov models has been proposed by David et al. [173]. It introduces a variable separated posterior distribution and a two-stage training program to alternately train the parameters of the latent state and the emission distribution. By learning a set of emission laws and dynamically activating them based on hidden processes. FlashFFTConv [174] proposes a convolutional optimization method called FlashFFTConv, which uses matrix factorization to calculate the fast Fourier transform and utilizes matrix multiplication units for kernel fusion of long sequences, and reduce I/O costs effectively.
GateLoop [170]은 효율적인 auto-regressive language modeling을 위해 데이터 제어 게이트 입력 및 출력을 사용하는 완전한 데이터 제어 선형 RNN인 GateLoop을 소개합니다. 또한 데이터 제어 및 비 데이터 제어 상태 전환의 장단점을 비교하여 GateLoop의 우수성을 강조하기 위해 합성 언어 모델링을 위한 메모리 수평 데이터 세트도 제시합니다. 병렬 스캐닝 훈련 전략과 동등한 attention 대체 모델도 시연됩니다. 선택적 State Space Models [176]을 사용하여 급성 뇌 기능 장애 상태 예측에 대한 다중 코호트 연구 [176]는 풍부한 전자 의료 기록(EHR) 데이터를 활용하여 중환자실에서 중환자의 ABD 예측을 위한 데이터 기반 자동화된 데이터 기반 접근 방식을 개발합니다. 이 연구는 중환자실 입원 중 섬망, 혼수, 사망을 동적으로 예측하고 두 개의 공개 데이터 세트에서 검증하여 높은 성능을 입증했습니다. S/D-Mamba [184]는 두 가지 간단한 Mamba 기반 모델인 S-Mamba와 D-Mamba를 소개하는데, 이 두 모델 모두 Mamba Block을 사용하여 변수 상관관계(VC)를 추출합니다. S-Mamba는 변수 간의 상관관계를 처리하기 위해 Mamba Block을 사용합니다. D-Mamba는 S-Mamba에 비해 매개변수를 조정하여 VC에 더 민감합니다. D-Mamba는 S-Mamba에 비해 Mamba 레이어에 Mamba 블록을 추가하여 VC를 처리하며, 추가 Mamba 블록은 매개변수를 조정하여 변수 간의 상관관계에 더 민감합니다. 실험 결과, 두 모델 모두 성능 측면에서 기존 방식보다 성능이 뛰어나고 GPU 메모리와 훈련 시간을 절약할 수 있습니다. Liu 등은 시퀀스 간의 종속성을 모델링하기 위해 제안된 새로운 방법인 Mamba4Rec [175]을 제안합니다. 이 논문에서는 Mamba4Rec의 성능을 입증하기 위해 MovieLen-1M, Amazon-Beauty, Amazon-Video-Games에 대해 실험을 수행하여 최첨단 성능에 도달했습니다. Quan 등 [177]은 원래 SpatialNet을 기반으로 다중 채널 음성 향상을 처리하는 새로운 모델을 제안합니다. 그들은 최고의 성능에 도달하는 oSpatialNet-Mamba를 제안하며, 그 핵심 장점은 State Space Model입니다. 이 모델은 다양한 작업이 테스트되었으며 모두 우수한 성능을 보였습니다. Schiff 등은 DNA 서열을 양방향으로 동등하게 모델링할 수 있는 새로운 생물정보학 모델인 Caduceus [87]를 소개합니다. MambaDNA를 기반으로 하는 Caduceus는 RC에 상응하고 양방향적인 장거리 DNA language models의 첫 번째 제품군으로, pre-training 및 Fine-tuning 전략을 도입합니다. 또한 게놈 벤치마크에서 이전의 장거리 모델보다 성능이 뛰어납니다. Zhang 등은 Mamba를 기반으로 새로운 모션 가이드 트래커와 모션 가이드 예측 헤드 [88]를 소개합니다. Karan 등 [159]은 S4 모델 긴 시퀀스 모델링을 기반으로 하는 다단계 구조인 SaShiMi를 제안합니다. 이 모델은 허위츠 행렬에 대한 연결을 통해 매개변수화를 간단하게 개선합니다. 또한 SaShiMi는 비재귀 상태에서 비재귀 생성 성능을 개선합니다. David 등 [173]은 이산 State Space 숨겨진 마르코프 모델을 결합한 새로운 예측 모델을 제안했습니다. 이 모델은 가변 분리된 사후 분포와 매개변수를 교대로 훈련하는 2단계 훈련 프로그램을 도입하여 잠재 상태와 방출 분포의 매개변수를 훈련합니다. 방출 법칙 집합을 학습하고 숨겨진 프로세스에 따라 동적으로 활성화함으로써. FlashFFTConv [174]는 행렬 인수분해를 사용하여 고속 푸리에 변환을 계산하고 커널 융합을 위해 행렬 곱셈 유닛을 사용하여 장수열의 I/O 비용을 효과적으로 줄이는 FlashFFTConv라는 convolutional optimization 방법을 제안합니다.
GateLoop [170]은 효율적인 자동 회귀 언어 모델링을 위해 데이터 제어 게이트 입력 및 출력을 사용하는 완전한 데이터 제어 선형 RNN인 GateLoop을 소개합니다. 또한 데이터 제어 및 비 데이터 제어 상태 전환의 장단점을 비교하여 GateLoop의 우수성을 강조하기 위해 합성 언어 모델링을 위한 메모리 수평 데이터 세트도 제시합니다. 병렬 스캐닝 훈련 전략과 동등한 주의도 대체 모델도 시연됩니다. 선택적 상태 공간 모델 [176]을 사용하여 급성 뇌 기능 장애 상태 예측에 대한 다중 코호트 연구 [176]는 풍부한 전자 의료 기록(EHR) 데이터를 활용하여 중환자실에서 중환자의 ABD 예측을 위한 데이터 기반 자동화된 데이터 기반 접근 방식을 개발합니다. 이 연구는 중환자실 입원 중 섬망, 혼수, 사망을 동적으로 예측하고 두 개의 공개 데이터 세트에서 검증하여 높은 성능을 입증했습니다. S/D-Mamba [184]는 두 가지 간단한 Mamba 기반 모델인 S-Mamba와 D-Mamba를 소개하는데, 이 두 모델 모두 Mamba Block을 사용하여 변수 상관관계(VC)를 추출합니다. S-Mamba는 변수 간의 상관관계를 처리하기 위해 Mamba Block을 사용합니다. D-Mamba는 S-Mamba에 비해 매개변수를 조정하여 VC에 더 민감합니다. D-Mamba는 S-Mamba에 비해 Mamba 레이어에 Mamba 블록을 추가하여 VC를 처리하며, 추가 Mamba 블록은 매개변수를 조정하여 변수 간의 상관관계에 더 민감합니다. 실험 결과, 두 모델 모두 성능 측면에서 기존 방식보다 성능이 뛰어나고 GPU 메모리와 훈련 시간을 절약할 수 있습니다. Liu 등은 시퀀스 간의 종속성을 모델링하기 위해 제안된 새로운 방법인 Mamba4Rec [175]을 제안합니다. 이 논문에서는 Mamba4Rec의 성능을 입증하기 위해 MovieLen-1M, Amazon-Beauty, Amazon-Video-Games에 대해 실험을 수행하여 최첨단 성능에 도달했습니다. Quan 등 [177]은 원래 SpatialNet을 기반으로 다중 채널 음성 향상을 처리하는 새로운 모델을 제안합니다. 그들은 최고의 성능에 도달하는 oSpatialNet-Mamba를 제안하며, 그 핵심 장점은 상태 공간 모델입니다. 이 모델은 다양한 작업이 테스트되었으며 모두 우수한 성능을 보였습니다. Schiff 등은 DNA 서열을 양방향으로 동등하게 모델링할 수 있는 새로운 생물정보학 모델인 Caduceus [87]를 소개합니다. MambaDNA를 기반으로 하는 Caduceus는 RC에 상응하고 양방향적인 장거리 DNA 언어 모델의 첫 번째 제품군으로, 사전 학습 및 미세 조정 전략을 도입합니다. 또한 게놈 벤치마크에서 이전의 장거리 모델보다 성능이 뛰어납니다. Zhang 등은 Mamba를 기반으로 새로운 모션 가이드 트래커와 모션 가이드 예측 헤드 [88]를 소개합니다. Karan 등 [159]은 S4 모델 긴 시퀀스 모델링을 기반으로 하는 다단계 구조인 SaShiMi를 제안합니다. 이 모델은 허위츠 행렬에 대한 연결을 통해 매개변수화를 간단하게 개선합니다. 또한 SaShiMi는 비재귀 상태에서 비재귀 생성 성능을 개선합니다. David 등 [173]은 이산 상태 공간 숨겨진 마르코프 모델을 결합한 새로운 예측 모델을 제안했습니다. 이 모델은 가변 분리된 사후 분포와 매개변수를 교대로 훈련하는 2단계 훈련 프로그램을 도입하여 잠재 상태와 방출 분포의 매개변수를 훈련합니다. 방출 법칙 집합을 학습하고 숨겨진 프로세스에 따라 동적으로 활성화함으로써. FlashFFTConv [174]는 행렬 인수분해를 사용하여 고속 푸리에 변환을 계산하고 커널 융합을 위해 행렬 곱셈 유닛을 사용하여 장수열의 I/O 비용을 효과적으로 줄이는 FlashFFTConv라는 컨볼루션 최적화 방법을 제안합니다.