To address this issue, Gu et al. propose the Mamba [12] architecture which improves the SSM from the following two aspects: _1). Selective Scan Operator_ allows the model to filter relevant information out. In practical implementation, the \(\Delta\), \(\mathbf{B}\), and \(\mathbf{C}\) become the functions of the input, meanwhile, the matrix \(\mathbf{A}\) keeps unchanged. _2). Hardware-aware Algorithm_ that allows efficient storage of (intermediate) results through parallel scanning, kernel fusion, and recalculation. An illustration of the architecture of the Mamba block is provided in the right part of Fig. 1. Due to the key features, many researchers attempt to design their model using SSM or Mamba architectures.
이 문제를 해결하기 위해 Gu 등은 다음 두 가지 측면에서 SSM을 개선하는 Mamba [12] architecture를 제안합니다: _1). Selective Scan Operator_는 모델이 관련 정보를 필터링할 수 있도록 합니다. 실제 구현에서 \(\Delta\), \(\mathbf{B}\), \(\mathbf{C}\)는 입력의 함수가 되고, 행렬 \(\mathbf{A}\)는 변하지 않습니다. _2). 병렬 스캔, 커널 융합 및 재계산을 통해 (중간) 결과를 효율적으로 저장할 수 있는 Hardware-aware Algorithm. 그림 1의 오른쪽에 Mamba block의 architecture를 설명합니다. 주요 특징으로 인해 많은 연구자들이 SSM 또는 Mamba architectures를 사용하여 모델을 설계하려고 시도합니다.
이 문제를 해결하기 위해 Gu 등은 다음 두 가지 측면에서 SSM을 개선하는 Mamba [12] 아키텍처를 제안합니다: _1). 선택적 스캔 연산자_는 모델이 관련 정보를 필터링할 수 있도록 합니다. 실제 구현에서 \(\Delta\), \(\mathbf{B}\), \(\mathbf{C}\)는 입력의 함수가 되고, 행렬 \(\mathbf{A}\)는 변하지 않습니다. _2). 병렬 스캔, 커널 융합 및 재계산을 통해 (중간) 결과를 효율적으로 저장할 수 있는 하드웨어 인식 알고리즘. 그림 1의 오른쪽에 맘바 블록의 아키텍처를 설명합니다. 주요 특징으로 인해 많은 연구자들이 SSM 또는 맘바 아키텍처를 사용하여 모델을 설계하려고 시도합니다.