Motion Mamba [88], composed of Hierarchical Temporal Mambo (HTM) and Bidirectional Spatial Mamba (BSM), represents the first integration of Mamba models in the field of motion generation. HTM and BSM are designed for temporal and spatial modeling, respectively, while integrating selective scanning mechanisms into motion generation tasks. Compared with the previous diffusion-based motion generation method, which mainly uses a Transformer, motion Mamba achieves state-of-the-art (SOTA) performance. Note that the inference speed is also sped up by four times. VL-Mambo [145] is the first effort to explore the state-space model Mamba to solve the expensive computational overhead in the Transformer architecture in multimodal learning tasks. CMViM [146] focuses on the application of multimodal representation learning to 3D high-resolution medical images, especially Alzheimer's disease (AD). It is developed based on MAE [150] framework and replaces ViT [151] module with Vim [61] module, therefore, reducing complexity from quadratic to linear level. Moreover, the intra-modality and inter-modality contrastive learning methods are introduced to enhance the ability of the multimodal Vim encoder to model discriminative features in the same modality and mitigate the misaligned representation between modalities.
Motion Mamba [88]는 계층적 시간적 Mambo (HTM)와 양방향 공간 Mamba (BSM)로 구성되어 있으며, 동작 생성 분야에서 Mamba 모델을 최초로 통합한 모델입니다. HTM과 BSM은 각각 시간적 및 공간적 모델링을 위해 설계되었으며, 동작 생성 작업에 선택적 스캐닝 메커니즘을 통합합니다. Transformer를 주로 사용하는 기존의 확산 기반 동작 생성 방법과 비교하여 Motion Mamba는 state-of-the-art (SOTA) 성능을 달성합니다. 추론 속도도 4배 가속화되었습니다. VL-Mambo [145]는 멀티모달 학습 작업에서 Transformer 아키텍처의 값비싼 계산 오버헤드를 해결하기 위해 상태 공간 모델 Mamba를 탐구한 최초의 노력입니다. CMViM [146]은 멀티모달 표현 학습을 3D 고해상도 의료 이미지, 특히 알츠하이머병(AD)에 적용하는 데 중점을 둡니다. 이 모델은 MAE [150] 프레임워크를 기반으로 개발되었으며, ViT [151] 모듈을 Vim [61] 모듈로 대체하여 복잡성을 이차 수준에서 선형 수준으로 줄였습니다. 또한, 동일한 모달리티에서 변별적 특징을 모델링하는 멀티모달 Vim Encoder의 능력을 향상시키고 모달리티 간의 잘못 정렬된 표현을 완화하기 위해 모달리티 내 및 모달리티 간 대조 학습 방법을 도입했습니다.
Motion Mamba [88]는 계층적 시간적 맘바(HTM)와 양방향 공간 맘바(BSM)로 구성되어 있으며, 동작 생성 분야에서 맘바 모델을 최초로 통합한 모델입니다. HTM과 BSM은 각각 시간적 및 공간적 모델링을 위해 설계되었으며, 동작 생성 작업에 선택적 스캐닝 메커니즘을 통합합니다. 트랜스포머를 주로 사용하는 기존의 확산 기반 동작 생성 방법과 비교하여 동작 맘바는 최첨단(SOTA) 성능을 달성합니다. 추론 속도도 4배 가속화되었습니다. VL-Mambo [145]는 멀티모달 학습 작업에서 트랜스포머 아키텍처의 값비싼 계산 오버헤드를 해결하기 위해 상태 공간 모델 맘바를 탐구한 최초의 노력입니다. CMViM [146]은 멀티모달 표현 학습을 3D 고해상도 의료 이미지, 특히 알츠하이머병(AD)에 적용하는 데 중점을 둡니다. 이 모델은 MAE [150] 프레임워크를 기반으로 개발되었으며, ViT [151] 모듈을 Vim [61] 모듈로 대체하여 복잡성을 이차 수준에서 선형 수준으로 줄였습니다. 또한, 동일한 모달리티에서 변별적 특징을 모델링하는 멀티모달 빔 인코더의 능력을 향상시키고 모달리티 간의 잘못 정렬된 표현을 완화하기 위해 모달리티 내 및 모달리티 간 대조 학습 방법을 도입했습니다.