forms other sequence models by at least \(23\%\) in terms of mean squared error (MSE) across multiple real-world sensor datasets. LOCOST [168] introduced an encoder-decoder architecture based on state-space models for conditional text generation tasks with long-context inputs. This approach effectively reduced computational complexity and memory usage, significantly enhancing the speed of both training and inference stages. MambaStock [178] utilizes the structured state space (S4) architecture to capture the nonlinearity in stock data, enabling accurate predictions of future stock prices. Lu et al. [163] proposed an improvement to the simplified structured state-space sequence model (S5), enabling the reset of hidden states within trajectories during the model training phase. Specifically, to enable the model to handle variable-length sequences, this paper modifies the association operator and introduces a reset annotation that preserves association properties in S5. Additionally, to test the generalization ability of the model, a challenging Meta-RL setup is also introduced. [188] introduces a new method for developing a realistic digital dynamic range compressor model for digital audio production by analyzing its simulation prototype. The learned representations are often affected by the high order of the model, which makes them unsuitable for control design. [189] proposes a system theory based model order reduction technique specifically for linear dynamic blocks in SSM to address this challenge.
여러 실제 센서 데이터 세트에서 평균 제곱 오차(MSE) 측면에서 최소 \(23\%\) 이상의 다른 시퀀스 모델을 형성합니다. LOCOST [168]는 긴 컨텍스트 입력이 있는 조건부 텍스트 생성 작업을 위해 state-space 모델을 기반으로 Encoder-Decoder 아키텍처를 도입했습니다. 이 접근 방식은 계산 복잡성과 메모리 사용량을 효과적으로 줄여 훈련과 추론 단계의 속도를 크게 향상시켰습니다. MambaStock [178]은 structured state space (S4) 아키텍처를 활용하여 주식 데이터의 비선형성을 포착하여 향후 주가를 정확하게 예측할 수 있습니다. Lu et al. [163]은 단순화된 structured state-space sequence 모델(S5)을 개선하여 모델 학습 단계에서 궤적 내에서 숨겨진 상태를 재설정할 수 있도록 제안했습니다. 특히, 모델이 가변 길이의 시퀀스를 처리할 수 있도록 하기 위해 이 논문에서는 연관 연산자를 수정하고 S5에서 연관 속성을 보존하는 재설정 주석을 도입했습니다. 또한 모델의 일반화 능력을 테스트하기 위해 도전적인 Meta-RL 설정도 소개되었습니다. [188]은 시뮬레이션 프로토타입을 분석하여 디지털 오디오 프로덕션을 위한 사실적인 디지털 동적 범위 컴프레서 모델을 개발하기 위한 새로운 방법을 소개합니다. 학습된 표현은 종종 모델의 높은 차수에 의해 영향을 받기 때문에 제어 설계에 적합하지 않습니다. [189]는 이 문제를 해결하기 위해 SSM의 선형 동적 블록에 특화된 시스템 이론 기반 모델 순서 감소 기법을 제안합니다.
여러 실제 센서 데이터 세트에서 평균 제곱 오차(MSE) 측면에서 최소 \(23\%\) 이상의 다른 시퀀스 모델을 형성합니다. LOCOST [168]는 긴 컨텍스트 입력이 있는 조건부 텍스트 생성 작업을 위해 상태 공간 모델을 기반으로 인코더-디코더 아키텍처를 도입했습니다. 이 접근 방식은 계산 복잡성과 메모리 사용량을 효과적으로 줄여 훈련과 추론 단계의 속도를 크게 향상시켰습니다. 맘바스톡 [178]은 구조화된 상태 공간(S4) 아키텍처를 활용하여 주식 데이터의 비선형성을 포착하여 향후 주가를 정확하게 예측할 수 있습니다. Lu et al. [163]은 단순화된 구조화된 상태 공간 시퀀스 모델(S5)을 개선하여 모델 학습 단계에서 궤적 내에서 숨겨진 상태를 재설정할 수 있도록 제안했습니다. 특히, 모델이 가변 길이의 시퀀스를 처리할 수 있도록 하기 위해 이 논문에서는 연관 연산자를 수정하고 S5에서 연관 속성을 보존하는 재설정 주석을 도입했습니다. 또한 모델의 일반화 능력을 테스트하기 위해 도전적인 메타 RL 설정도 소개되었습니다. [188]은 시뮬레이션 프로토타입을 분석하여 디지털 오디오 프로덕션을 위한 사실적인 디지털 동적 범위 컴프레서 모델을 개발하기 위한 새로운 방법을 소개합니다. 학습된 표현은 종종 모델의 높은 차수에 의해 영향을 받기 때문에 제어 설계에 적합하지 않습니다. [189]는 이 문제를 해결하기 위해 SSM의 선형 동적 블록에 특화된 시스템 이론 기반 모델 순서 감소 기법을 제안합니다.