In terms of visual and linguistic information fusion, Zhao et al. [147] optimizes the internal information integration of the Mamba language model to achieve a more effective expression. Decision Mamba(DMamba) [148] integrates the Mamba framework into the Decision Transformer (DT) [152]. A series of experiments comparing Decision Mamba and DT show that Mamba is effective in reinforcement learning (RL) tasks. But simply applying Mamba blocks to DT does not improve efficiency, because the RL tasks considered by the authors have a large number of CPU and GPU interactions. Another deficiency is the absence of a hyper-parameter search and an analysis of how to use the Mamba block more effectively to reflect the data structure of RL tasks. Sigma [149] is the first State Space Model successfully applied in multi-modal semantic segmentation. It is composed of VMamba, an attention-based Mamba fusion mechanism and a channel-aware Mamba decoder, and has shown excellent performance in various experiments. However, Sigma is underutilized in handling longer sequences, and the memory consumption of Mamba encoders is still relatively large, making it difficult to deploy on lightweight edge devices.
시각적 및 언어적 정보 융합 측면에서 Zhao 등[147]은 Mamba 언어 모델의 내부 정보 통합을 최적화하여 보다 효과적인 표현을 달성합니다. Decision Mamba(DMamba) [148]는 Mamba 프레임워크를 Decision Transformer (DT) [152]에 통합합니다. Decision Mamba와 DT를 비교한 일련의 실험을 통해 Mamba가 Reinforcement Learning (RL) 작업에 효과적이라는 것이 입증되었습니다. 그러나 저자들이 고려한 RL 작업에는 CPU와 GPU의 상호 작용이 많기 때문에 Mamba 블록을 DT에 단순히 적용해도 효율성이 향상되지 않습니다. 또 다른 결핍점은 하이퍼 파라미터 검색과 RL 작업의 데이터 구조를 더 효과적으로 반영하기 위해 Mamba 블록을 사용하는 방법에 대한 분석이 부재한다는 점입니다. Sigma [149]는 멀티모달 시맨틱 세분화에 성공적으로 적용된 최초의 상태 공간 모델입니다. 이 모델은 Attention 기반 Mamba 융합 메커니즘인 VMamba와 채널 인식 Mamba Decoder로 구성되어 있으며, 다양한 실험에서 뛰어난 성능을 보여주었습니다. 그러나 Sigma는 더 긴 시퀀스를 처리하는 데 활용도가 낮으며, Mamba Encoder의 메모리 소비가 상대적으로 많아 경량 엣지 디바이스에 배포하기 어렵습니다.
시각적 및 언어적 정보 융합 측면에서 Zhao 등[147]은 맘바 언어 모델의 내부 정보 통합을 최적화하여 보다 효과적인 표현을 달성합니다. 의사 결정 맘바(DMamba) [148]는 의사 결정 트랜스포머(DT) [152]에 맘바 프레임워크를 통합합니다. 의사 결정 맘바와 DT를 비교한 일련의 실험을 통해 맘바가 강화 학습(RL) 작업에 효과적이라는 것이 입증되었습니다. 그러나 저자들이 고려한 RL 작업에는 CPU와 GPU의 상호 작용이 많기 때문에 Mamba 블록을 DT에 단순히 적용해도 효율성이 향상되지 않습니다. 또 다른 결핍점은 하이퍼 파라미터 검색과 RL 작업의 데이터 구조를 더 효과적으로 반영하기 위해 Mamba 블록을 사용하는 방법에 대한 분석이 부재한다는 점입니다. 시그마 [149]는 멀티모달 시맨틱 세분화에 성공적으로 적용된 최초의 상태 공간 모델입니다. 이 모델은 주의력 기반 맘바 융합 메커니즘인 VMamba와 채널 인식 맘바 디코더로 구성되어 있으며, 다양한 실험에서 뛰어난 성능을 보여주었습니다. 그러나 시그마는 더 긴 시퀀스를 처리하는 데 활용도가 낮으며, 맘바 인코더의 메모리 소비가 상대적으로 많아 경량 엣지 디바이스에 배포하기 어렵습니다.