Several related works have explored different aspects of state-space models (SSMs) and their applications in various domains. [181] propose a deep state-space model (DSSM) called Continuous Learning DSSM (CLDSSM). CLDSSM integrates regularization-based continual learning (CL) methods to efficiently update multiple dynamic systems without catastrophic forgetting. [172] focuses on enhancing the robustness of SSMs for long sequence tasks through approximate diagonalization. The authors propose a method that approximates diagonalization to improve the robustness of SSMs. By simplifying the problem and considering pure diagonal structures, the proposed approach achieves computational efficiency and allows channel communication. In [171], the _curse of memory_ in SSMs is addressed through stable re-parameterization. The authors introduce a parameterization technique for SSMs that effectively enhances their memory limits. [164] provide a data-dependent generalization bound for SSMs, highlighting the interplay between the SSM parameters and the temporal dependencies of training sequences. Building upon this generalization bound, they propose a scaling rule for model initialization to improve the robustness of SSMs in accommodating different temporal patterns in the sequence data. Wang et al. [160] propose a sequence routing method based on State Space Model and attempt to pre-train a big model without attention. Bidirectional Gated SSM (BiGS) proposed in the paper combines an SSM layer and a multiplicative gating architecture to effectively simplify the sequence modelling task. It reduces computational resources and time for model training by omitting the computationally intensive attention matrix. This approach successfully reduces resource consumption by about \(30\%\) while maintaining comparable performance to traditional pre-trained models. Although the BiGS model does not consider pairwise interactions, it is able to match BERT's pre-training accuracy on the GLUE benchmark test and can be scaled up to 4096 tokens of long-form pre-training without approximation. This approach provides an effective pre-training solution for NLP tasks in resource-limited environments and has the potential to be applied to a wider range of NLP scenarios.
여러 관련 연구에서 상태 공간 모델(SSM)의 다양한 측면과 다양한 영역에서의 적용을 탐구했습니다. [181]은 연속 학습 DSSM(CLDSSM)이라는 심층 상태 공간 모델(DSSM)을 제안합니다. CLDSSM은 정규화 기반 연속 학습(CL) 방법을 통합하여 치명적인 망각 없이 여러 동적 시스템을 효율적으로 업데이트합니다. [172]는 대략적인 대각선화를 통해 긴 시퀀스 작업에 대한 SSM의 Robustness를 향상시키는 데 중점을 둡니다. 저자는 대각선화를 근사화하여 SSM의 Robustness를 향상시키는 방법을 제안합니다. 이 제안된 접근 방식은 문제를 단순화하고 순수한 대각선 구조를 고려함으로써 계산 효율성을 달성하고 채널 통신을 가능하게 합니다. [171]에서는 안정적인 재매개변수화를 통해 SSM의 _메모리의 저주_를 해결합니다. 저자는 SSM의 메모리 제한을 효과적으로 향상시키는 파라미터화 기법을 소개합니다. [164]는 SSM에 대한 데이터 종속 일반화 바운드를 제공하여 SSM 파라미터와 훈련 시퀀스의 시간적 종속성 간의 상호 작용을 강조합니다. 이 일반화 바운드를 기반으로 시퀀스 데이터의 다양한 시간적 패턴을 수용하는 SSM의 Robustness를 향상시키기 위해 모델 초기화를 위한 Scaling 규칙을 제안합니다. Wang 등[160]은 상태 공간 모델을 기반으로 한 시퀀스 라우팅 방법을 제안하고 Attention 없이 큰 모델을 사전 학습하려고 시도합니다. 이 논문에서 제안된 양방향 게이트 SSM(BiGS)은 SSM 레이어와 곱셈 게이팅 아키텍처를 결합하여 시퀀스 모델링 작업을 효과적으로 단순화합니다. 계산 집약적인 Attention 행렬을 생략하여 모델 학습을 위한 계산 리소스와 시간을 줄여줍니다. 이 접근 방식은 기존의 사전 학습된 모델과 비슷한 성능을 유지하면서 리소스 소비를 약 \(30\%\)까지 줄일 수 있었습니다. BiGS 모델은 쌍별 상호 작용을 고려하지 않지만 GLUE 벤치마크 테스트에서 BERT의 사전 학습 정확도를 따라잡을 수 있으며 근사치 없이 4096 토큰의 장문 사전 학습까지 확장할 수 있습니다. 이 접근 방식은 리소스가 제한된 환경에서 NLP 작업을 위한 효과적인 사전 학습 솔루션을 제공하며, 더 넓은 범위의 NLP 시나리오에 적용될 수 있는 잠재력을 가지고 있습니다.
여러 관련 연구에서 상태 공간 모델(SSM)의 다양한 측면과 다양한 영역에서의 적용을 탐구했습니다. [181]은 연속 학습 DSSM(CLDSSM)이라는 심층 상태 공간 모델(DSSM)을 제안합니다. CLDSSM은 정규화 기반 연속 학습(CL) 방법을 통합하여 치명적인 망각 없이 여러 동적 시스템을 효율적으로 업데이트합니다. [172]는 대략적인 대각선화를 통해 긴 시퀀스 작업에 대한 SSM의 견고성을 향상시키는 데 중점을 둡니다. 저자는 대각선화를 근사화하여 SSM의 견고성을 향상시키는 방법을 제안합니다. 이 제안된 접근 방식은 문제를 단순화하고 순수한 대각선 구조를 고려함으로써 계산 효율성을 달성하고 채널 통신을 가능하게 합니다. [171]에서는 안정적인 재매개변수화를 통해 SSM의 _메모리의 저주_를 해결합니다. 저자는 SSM의 메모리 제한을 효과적으로 향상시키는 파라미터화 기법을 소개합니다. [164]는 SSM에 대한 데이터 종속 일반화 바운드를 제공하여 SSM 파라미터와 훈련 시퀀스의 시간적 종속성 간의 상호 작용을 강조합니다. 이 일반화 바운드를 기반으로 시퀀스 데이터의 다양한 시간적 패턴을 수용하는 SSM의 견고성을 향상시키기 위해 모델 초기화를 위한 스케일링 규칙을 제안합니다. Wang 등[160]은 상태 공간 모델을 기반으로 한 시퀀스 라우팅 방법을 제안하고 주의 없이 큰 모델을 사전 학습하려고 시도합니다. 이 논문에서 제안된 양방향 게이트 SSM(BiGS)은 SSM 레이어와 곱셈 게이팅 아키텍처를 결합하여 시퀀스 모델링 작업을 효과적으로 단순화합니다. 계산 집약적인 주의 행렬을 생략하여 모델 학습을 위한 계산 리소스와 시간을 줄여줍니다. 이 접근 방식은 기존의 사전 학습된 모델과 비슷한 성능을 유지하면서 리소스 소비를 약 \(30\%\)까지 줄일 수 있었습니다. BiGS 모델은 쌍별 상호 작용을 고려하지 않지만 GLUE 벤치마크 테스트에서 BERT의 사전 학습 정확도를 따라잡을 수 있으며 근사치 없이 4096 토큰의 장문 사전 학습까지 확장할 수 있습니다. 이 접근 방식은 리소스가 제한된 환경에서 NLP 작업을 위한 효과적인 사전 학습 솔루션을 제공하며, 더 넓은 범위의 NLP 시나리오에 적용될 수 있는 잠재력을 가지고 있습니다.