\(\bullet\)**Multi-modal learning using SSMs architecture.** Early multi-modal related works focused on how to learn modality-specific and modality-shared representations. Influenced by the Transformer network, current multi-modal algorithms usually directly encode and fuse the multiple cues in a unified Transformer network [267, 268]. Thus, the cost of the inference phase may be twice compared with a single modality only. How to design new SSMs-based backbones for cost-sensitive multi-modal learning is an important research topic.
\(\bullet\)**SSMs 아키텍처를 사용한 다중 모달 학습.** 초기 다중 모달 관련 연구는 모달리티별 및 모달리티 공유 표현을 학습하는 방법에 초점을 맞추었습니다. Transformer 네트워크의 영향을 받아 현재의 다중 모달 알고리즘은 일반적으로 여러 큐를 통합된 Transformer 네트워크에 직접 인코딩하고 융합합니다[267, 268]. 따라서 추론 단계의 비용이 단일 모달리티에 비해 두 배로 증가할 수 있습니다. 비용 민감한 다중 모달 학습을 위해 새로운 SSM 기반 백본을 설계하는 방법은 중요한 연구 주제입니다.
\(\bullet\)**SSMs 아키텍처를 사용한 다중 모달 학습.** 초기 다중 모달 관련 연구는 모달리티별 및 모달리티 공유 표현을 학습하는 방법에 초점을 맞추었습니다. 트랜스포머 네트워크의 영향을 받아 현재의 다중 모달 알고리즘은 일반적으로 여러 큐를 통합된 트랜스포머 네트워크에 직접 인코딩하고 융합합니다[267, 268]. 따라서 추론 단계의 비용이 단일 모달리티에 비해 두 배로 증가할 수 있습니다. 비용 민감한 다중 모달 학습을 위해 새로운 SSM 기반 백본을 설계하는 방법은 중요한 연구 주제입니다.