For video understanding, ViS4mer [56] utilizes a multi-scale temporal structured state-space sequence decoder for long-term inference. The resolution of spatiotemporal features and channel dimension of each decoder layer are gradually reduced, enabling the learning of complex long-range spatiotemporal dependencies. Wang et al. propose the LSMCL [58] which is a learning method of short and long mask contrast and can predict long-range spatiotemporal information. Chen et al. [90] evaluate the Mamba's potential as an alternative to Transformers in video understanding, explore different roles that the Mamba can play in video modeling, and assess its performance across diverse video understanding tasks. Li et al. [84] propose a video understanding model based on the State Space Model, Video-Mamba, which can efficiently process long videos.
동영상 이해를 위해 ViS4mer [56]은 장기 추론을 위해 다중 스케일 시간 구조적 상태 공간 시퀀스 Decoder를 활용합니다. 시공간 특징의 해상도와 각 Decoder 레이어의 채널 차원은 점차 감소하여 복잡한 장거리 시공간 종속성을 학습할 수 있습니다. Wang 등은 짧은 마스크와 긴 마스크의 학습 방법인 LSMCL [58]을 제안하여 장거리 시공간 정보를 예측할 수 있습니다. Chen 등 [90]은 동영상 이해에서 Transformer의 대안으로서 Mamba의 잠재력을 평가하고, 동영상 모델링에서 Mamba가 수행할 수 있는 다양한 역할을 탐색하며, 다양한 동영상 이해 작업에서 Mamba의 성능을 평가합니다. Li 등 [84]은 긴 동영상을 효율적으로 처리할 수 있는 State Space Model인 Video-Mamba를 기반으로 한 동영상 이해 모델을 제안합니다.
동영상 이해를 위해 ViS4mer [56]은 장기 추론을 위해 다중 스케일 시간 구조적 상태 공간 시퀀스 디코더를 활용합니다. 시공간 특징의 해상도와 각 디코더 레이어의 채널 차원은 점차 감소하여 복잡한 장거리 시공간 종속성을 학습할 수 있습니다. Wang 등은 짧은 마스크와 긴 마스크의 학습 방법인 LSMCL [58]을 제안하여 장거리 시공간 정보를 예측할 수 있습니다. Chen 등 [90]은 동영상 이해에서 트랜스포머의 대안으로서 맘바의 잠재력을 평가하고, 동영상 모델링에서 맘바가 수행할 수 있는 다양한 역할을 탐색하며, 다양한 동영상 이해 작업에서 맘바의 성능을 평가합니다. Li 등 [84]은 긴 동영상을 효율적으로 처리할 수 있는 상태 공간 모델인 Video-Mamba를 기반으로 한 동영상 이해 모델을 제안합니다.