The State Space Model can also be adapted for multi-modal/multi-media tasks. Specifically, 54ND [30] extends State Space Models (SSMs) to multidimensional signals, enabling the modeling of large-scale visual data as continuous multidimensional signals. This method has been demonstrated to be effective across different dimensions (1D, 2D, and 3D), encompassing applications in image and video classification. Grazzi et al. [45] evaluate Mamba with in-context learning (ICL) capabilities similar to Transformer. The analysis shows that, like Transformer, Mamba appears to solve the ICL problem by gradually improving its internal representation like an iterative optimization strategy. For ICL tasks involving longer input sequences, Mamba can be an effective alternative to Transformer. Park et al. [141] also evaluate Mamba's performance and their results show that Mamba's performance in standard regression ICL tasks is comparable to Transformer's. Its performance in sparse parity learning tasks is better. However, it performed poorly on tasks involving non-standard retrieval functions. The MambaFormer [141], consisting of Mamba together with attention blocks, was used to solve the above challenges, outperforming any single model in each task. Zucchet et al. [142] reveal a closer conceptual relationship between RNN and Transformer. The experimental results prove that RNN and Transformer are not completely exclusive models. It is also shown that linear self-attention can be achieved in theory and practice by learning gated RNNs with multiplicative interactions, bridging the gap between these two architectures. Ali et al. [143] explore the learning mechanisms of Mamba models, in particular how dependencies are captured and their similarity to other established layers, such as RNN, CNN, or attention mechanisms. An important relationship between the Mamba and the self-attention layer is established. The basic properties of the Mamba model are clarified by showing that they depend on implicit attention to be realized by a unique data-controlledlinear operator, indicating that the selective state-space layer is an attention model. By utilizing the obtained attention matrices, a set of interpretability techniques based on these hidden attention matrices are provided. MamboMIL [144] integrates the Mambo framework into MIL, with SR-Mambo as the core component, which is good at capturing remote dependencies between dispersed positive instances. MamboMIL can efficiently capture more discriminant features and mitigate the challenges associated with overfitting and high computational overhead, marking the first application of the Mambo framework in computational pathology.
상태 공간 모델은 다중 모달/멀티미디어 작업에도 적용할 수 있습니다. 특히 54ND [30]는 상태 공간 모델(SSM)을 다차원 신호로 확장하여 대규모 시각적 데이터를 연속적인 다차원 신호로 모델링할 수 있게 되었습니다. 이 방법은 이미지 및 비디오 분류 애플리케이션을 포괄하는 다양한 차원(1D, 2D, 3D)에서 효과적인 것으로 입증되었습니다. Grazzi et al. [45]는 Transformer와 유사한 In-Context Learning (ICL) 기능을 갖춘 Mamba를 평가했습니다. 분석 결과, Transformer와 마찬가지로 Mamba도 반복 최적화 전략처럼 내부 표현을 점진적으로 개선하여 ICL 문제를 해결하는 것으로 나타났습니다. 더 긴 입력 시퀀스가 포함된 ICL 작업의 경우 Mamba는 Transformer의 효과적인 대안이 될 수 있습니다. Park et al. [141]도 Mamba의 성능을 평가했으며, 그 결과 표준 회귀 ICL 작업에서 Mamba의 성능이 Transformer와 비슷하다는 것을 보여주었습니다. 희소 패리티 학습 작업에서 Mamba의 성능이 더 우수했습니다. 그러나 비표준 검색 기능과 관련된 작업에서는 성능이 저조했습니다. 위의 문제를 해결하기 위해 Mamba와 Attention 블록으로 구성된 MambaFormer[141]를 사용하여 각 작업에서 단일 모델보다 뛰어난 성능을 발휘했습니다. Zucchet et al. [142]은 RNN과 Transformer 사이의 개념적 관계를 밝혀냈습니다. 실험 결과는 RNN과 Transformer가 완전히 배타적인 모델이 아니라는 것을 증명합니다. 또한 곱셈적 상호 작용을 통해 게이트형 RNN을 학습함으로써 이론과 실제에서 선형 자기 Attention을 달성할 수 있으며, 이 두 아키텍처 간의 간극을 좁혀 보여주었습니다. Ali et al. [143]은 Mamba 모델의 학습 메커니즘, 특히 종속성을 캡처하는 방법과 RNN, CNN 또는 Attention 메커니즘과 같은 기존 레이어와의 유사성을 탐구했습니다. Mamba와 자기 Attention 계층 사이의 중요한 관계가 설정되었습니다. Mamba 모델의 기본 속성은 선택적 상태 공간 계층이 Attention 모델임을 나타내는 데이터 제어 선형 연산자에 의해 실현되는 암시적 Attention에 의존한다는 것을 보여줌으로써 명확해졌습니다. 획득한 Attention 행렬을 활용하여 이러한 숨겨진 Attention 행렬을 기반으로 한 해석 가능성 기법 세트를 제공합니다. MamboMIL [144]은 Mambo 프레임워크를 MIL에 통합하여 분산된 긍정 인스턴스 간의 원격 종속성을 잘 캡처하는 SR-Mambo를 핵심 구성 요소로 사용합니다. MamboMIL은 보다 차별적인 특징을 효율적으로 캡처하고 과적합 및 높은 계산 오버헤드와 관련된 문제를 완화할 수 있으며, 계산 병리학에서 Mambo 프레임워크의 첫 번째 적용을 알렸습니다.
상태 공간 모델은 다중 모달/멀티미디어 작업에도 적용할 수 있습니다. 특히 54ND [30]는 상태 공간 모델(SSM)을 다차원 신호로 확장하여 대규모 시각적 데이터를 연속적인 다차원 신호로 모델링할 수 있게 되었습니다. 이 방법은 이미지 및 비디오 분류 애플리케이션을 포괄하는 다양한 차원(1D, 2D, 3D)에서 효과적인 것으로 입증되었습니다. Grazzi et al. [45]는 트랜스포머와 유사한 인컨텍스트 학습(ICL) 기능을 갖춘 맘바를 평가했습니다. 분석 결과, 트랜스포머와 마찬가지로 맘바도 반복 최적화 전략처럼 내부 표현을 점진적으로 개선하여 ICL 문제를 해결하는 것으로 나타났습니다. 더 긴 입력 시퀀스가 포함된 ICL 작업의 경우 맘바는 트랜스포머의 효과적인 대안이 될 수 있습니다. Park et al. [141]도 맘바의 성능을 평가했으며, 그 결과 표준 회귀 ICL 작업에서 맘바의 성능이 트랜스포머와 비슷하다는 것을 보여주었습니다. 희소 패리티 학습 작업에서 맘바의 성능이 더 우수했습니다. 그러나 비표준 검색 기능과 관련된 작업에서는 성능이 저조했습니다. 위의 문제를 해결하기 위해 맘바와 어텐션 블록으로 구성된 맘바포머[141]를 사용하여 각 작업에서 단일 모델보다 뛰어난 성능을 발휘했습니다. Zucchet et al. [142]은 RNN과 트랜스포머 사이의 개념적 관계를 밝혀냈습니다. 실험 결과는 RNN과 Transformer가 완전히 배타적인 모델이 아니라는 것을 증명합니다. 또한 곱셈적 상호 작용을 통해 게이트형 RNN을 학습함으로써 이론과 실제에서 선형 자기 주의를 달성할 수 있으며, 이 두 아키텍처 간의 간극을 좁혀 보여주었습니다. Ali et al. [143]은 맘바 모델의 학습 메커니즘, 특히 종속성을 캡처하는 방법과 RNN, CNN 또는 주의 메커니즘과 같은 기존 레이어와의 유사성을 탐구했습니다. 맘바와 자기 주의 계층 사이의 중요한 관계가 설정되었습니다. 맘바 모델의 기본 속성은 선택적 상태 공간 계층이 주의 모델임을 나타내는 데이터 제어 선형 연산자에 의해 실현되는 암시적 주의에 의존한다는 것을 보여줌으로써 명확해졌습니다. 획득한 주의도 행렬을 활용하여 이러한 숨겨진 주의도 행렬을 기반으로 한 해석 가능성 기법 세트를 제공합니다. MamboMIL [144]은 Mambo 프레임워크를 MIL에 통합하여 분산된 긍정 인스턴스 간의 원격 종속성을 잘 캡처하는 SR-Mambo를 핵심 구성 요소로 사용합니다. MamboMIL은 보다 차별적인 특징을 효율적으로 캡처하고 과적합 및 높은 계산 오버헤드와 관련된 문제를 완화할 수 있으며, 계산 병리학에서 Mambo 프레임워크의 첫 번째 적용을 알렸습니다.