speed up training efficiency while ensuring performance. The authors use local attention to extract local information, and then use the state-space model to extract the global information missing from local attention. [48] argues that existing State Space Models, while efficient, lack in performance. The authors believe the reason for this is that too many state transitions make the model lose shallow information. So the authors propose a design that integrates the hidden states in the previous layers into the subsequent layers to retain more shallow information. Eventually, after pre-training on Pile, the experimental results of Zero-shot and four-shot on other datasets are significantly improved. For voice tasks, Du et al. [42] combine the high efficiency of impulse neural networks and the ability to model long distances with the state-space model S4 to obtain an spiking neural network, which has a low number of parameters but comparable performance to that of some artificial neural network (ANN) in deep noise suppression task. In addition, for speech separation task, DPMamba [43] proposed by Jiang et al. uses the selective State Space Model Mamba to replace the traditional transformer architecture. DPMamba simultaneously models the short-term and long-term forward and backward dependencies of speech signals through selective state space, achieving comparable results to the dual-path Transformer model Sepformer [134]. SPAMba [44] proposed by Li et al. uses TF-GridNet [135] as the basic framework and replaces the Transformer module with a bidirectional Mamba module to capture a wider range of language information. Experimental results show that Mamba-based models play an important role in performance.
성능을 보장하면서 훈련 효율성을 높입니다. 저자들은 로컬 attention을 사용하여 로컬 정보를 추출한 다음, State Space Model을 사용하여 로컬 attention에서 누락된 글로벌 정보를 추출합니다. [48]은 기존 State Space Models이 효율적이긴 하지만 성능이 부족하다고 주장합니다. 저자들은 너무 많은 상태 전환으로 인해 모델이 얕은 정보를 잃어버린다는 이유 때문이라고 생각합니다. 따라서 저자들은 이전 레이어의 숨겨진 상태를 후속 레이어에 통합하여 더 많은 얕은 정보를 유지하는 설계를 제안합니다. 결국, Pile에서 사전 훈련을 거친 후 다른 데이터 세트에 대한 zero-shot과 four-shot의 실험 결과가 크게 개선되었습니다. 음성 작업의 경우, Du 등 [42]은 임펄스 신경망의 높은 효율성과 긴 거리를 모델링하는 능력을 State Space Model S4와 결합하여 매개변수 수는 적지만 딥 노이즈 억제 작업에서 일부 인공 신경망(ANN)과 비슷한 성능을 가진 spiking neural network를 얻었습니다. 또한, 음성 분리 작업을 위해 Jiang 등이 제안한 DPMamba [43]는 선택적 State Space Model Mamba를 사용하여 기존의 Transformer 아키텍처를 대체합니다. DPMamba는 선택적 상태 공간을 통해 음성 신호의 단기 및 장기 전진 및 후진 종속성을 동시에 모델링하여 이중 경로 Transformer 모델 Sepformer [134]와 비슷한 결과를 얻습니다. Li 등이 제안한 SPAMba [44]는 TF-GridNet [135]을 기본 프레임워크로 사용하고 Transformer 모듈을 양방향 Mamba 모듈로 대체하여 더 넓은 범위의 언어 정보를 캡처합니다. 실험 결과, Mamba 기반 모델이 성능에 중요한 역할을 하는 것으로 나타났습니다.
성능을 보장하면서 훈련 효율성을 높입니다. 저자들은 로컬 어텐션을 사용하여 로컬 정보를 추출한 다음, 상태 공간 모델을 사용하여 로컬 어텐션에서 누락된 글로벌 정보를 추출합니다. [48]은 기존 상태 공간 모델이 효율적이긴 하지만 성능이 부족하다고 주장합니다. 저자들은 너무 많은 상태 전환으로 인해 모델이 얕은 정보를 잃어버린다는 이유 때문이라고 생각합니다. 따라서 저자들은 이전 레이어의 숨겨진 상태를 후속 레이어에 통합하여 더 많은 얕은 정보를 유지하는 설계를 제안합니다. 결국, Pile에서 사전 훈련을 거친 후 다른 데이터 세트에 대한 제로 샷과 4 샷의 실험 결과가 크게 개선되었습니다. 음성 작업의 경우, Du 등 [42]은 임펄스 신경망의 높은 효율성과 긴 거리를 모델링하는 능력을 상태 공간 모델 S4와 결합하여 매개변수 수는 적지만 딥 노이즈 억제 작업에서 일부 인공 신경망(ANN)과 비슷한 성능을 가진 스파이킹 신경망을 얻었습니다. 또한, 음성 분리 작업을 위해 Jiang 등이 제안한 DPMamba [43]는 선택적 상태 공간 모델 Mamba를 사용하여 기존의 트랜스포머 아키텍처를 대체합니다. DPMamba는 선택적 상태 공간을 통해 음성 신호의 단기 및 장기 전진 및 후진 종속성을 동시에 모델링하여 이중 경로 트랜스포머 모델 Sepformer [134]와 비슷한 결과를 얻습니다. Li 등이 제안한 SPAMba [44]는 TF-GridNet [135]을 기본 프레임워크로 사용하고 트랜스포머 모듈을 양방향 맘바 모듈로 대체하여 더 넓은 범위의 언어 정보를 캡처합니다. 실험 결과, 맘바 기반 모델이 성능에 중요한 역할을 하는 것으로 나타났습니다.