In addition to the standard grid data (e.g., image), structured graph data is also widely studied in artificial intelligence, such as the social network and protein structure data. Because its input type is sequential data, thus, we can apply the SSMs to process the graph-structured data. Specifically, Graph54mer [52] leverages the Structured State Space (S4) architecture to capture long-range temporal dependencies and introduces a graph structure learning layer to dynamically evolve graph structures, adapting to the data's spatial correlations over time. GMNs [53] is a new class of Graph Neural Networks (GNNs) based on selective State Space Models, tackling the limitations of traditional GNNs in capturing long-range dependencies and computational efficiency. The framework introduces a graph tokenization process that bridges node-level and subgraph-level tokenization, facilitating efficient learning of graph structures. Another concurrent work Graph-Mamba [51] is also developed based on the Mamba architecture. Graph-Mamba includes a node prioritization technique to prioritize important nodes for more access to context and employs a permutation-based training recipe to minimize sequence-related biases. Ali Behrouz et al. propose the GRED [53] which is a new graph representation learning architecture that aggregates other nodes based on their shortest distance to the target for a given target node. They adopt the linear RNN to encode the skip representation sequence. Gregor et al. [140] discuss the issues of teachers being unable to accurately learn the next token predictor through mandatory training, and demonstrate the failure of Transformer and Mamba architectures in multi-token prediction training through the simplest planning task. Li et al. [55] introduce STG Mamba which is the first attempt to process STG learning using a powerful selective State Space Model.
표준 그리드 데이터(예: 이미지) 외에도 인공 지능에서는 소셜 네트워크 및 단백질 구조 데이터와 같은 구조화된 그래프 데이터도 널리 연구되고 있습니다. 입력 유형이 순차적 데이터이므로 SSM을 적용하여 그래프 구조 데이터를 처리할 수 있습니다. 구체적으로, Graph54mer[52]는 Structured State Space (S4) 아키텍처를 활용하여 장거리 시간적 종속성을 포착하고 그래프 구조 학습 레이어를 도입하여 시간에 따른 데이터의 공간 상관관계에 적응하는 동적 그래프 구조를 진화시킵니다. GMNs[53]은 선택적 State Space Models을 기반으로 하는 새로운 클래스의 Graph Neural Networks (GNNs)으로, 장거리 종속성과 계산 효율성을 포착하는 데 있어 기존 GNN의 한계를 해결합니다. 이 프레임워크는 노드 수준과 하위 그래프 수준의 토큰화를 연결하는 그래프 토큰화 프로세스를 도입하여 그래프 구조를 효율적으로 학습할 수 있도록 합니다. 또 다른 동시 작업인 Graph-Mamba[51]도 Mamba 아키텍처를 기반으로 개발되었습니다. Graph-Mamba에는 컨텍스트에 더 많이 액세스할 수 있도록 중요한 노드의 우선순위를 정하는 노드 우선순위 지정 기술이 포함되어 있으며, 순서 관련 편향을 최소화하기 위해 순열 기반 훈련 레시피를 사용합니다. Ali Behrouz 등은 주어진 대상 노드에 대해 가장 짧은 거리를 기준으로 다른 노드를 집계하는 새로운 그래프 표현 학습 아키텍처인 GRED[53]을 제안합니다. 이들은 스킵 표현 시퀀스를 인코딩하기 위해 linear RNN을 채택합니다. Gregor 등[140]은 교사가 필수 교육을 통해 다음 토큰 예측자를 정확하게 학습할 수 없는 문제에 대해 논의하고, 가장 간단한 계획 과제를 통해 Transformer와 Mamba 아키텍처가 다중 토큰 예측 교육에서 실패하는 것을 보여줍니다. Li 등[55]은 강력한 선택적 State Space Model을 사용하여 STG 학습을 처리하려는 최초의 시도인 STG Mamba를 소개합니다.
표준 그리드 데이터(예: 이미지) 외에도 인공 지능에서는 소셜 네트워크 및 단백질 구조 데이터와 같은 구조화된 그래프 데이터도 널리 연구되고 있습니다. 입력 유형이 순차적 데이터이므로 SSM을 적용하여 그래프 구조 데이터를 처리할 수 있습니다. 구체적으로, 그래프54머[52]는 구조화된 상태 공간(S4) 아키텍처를 활용하여 장거리 시간적 종속성을 포착하고 그래프 구조 학습 레이어를 도입하여 시간에 따른 데이터의 공간 상관관계에 적응하는 동적 그래프 구조를 진화시킵니다. GMN[53]은 선택적 상태 공간 모델을 기반으로 하는 새로운 클래스의 그래프 신경망(GNN)으로, 장거리 종속성과 계산 효율성을 포착하는 데 있어 기존 GNN의 한계를 해결합니다. 이 프레임워크는 노드 수준과 하위 그래프 수준의 토큰화를 연결하는 그래프 토큰화 프로세스를 도입하여 그래프 구조를 효율적으로 학습할 수 있도록 합니다. 또 다른 동시 작업인 Graph-Mamba [51]도 Mamba 아키텍처를 기반으로 개발되었습니다. Graph-Mamba에는 컨텍스트에 더 많이 액세스할 수 있도록 중요한 노드의 우선순위를 정하는 노드 우선순위 지정 기술이 포함되어 있으며, 순서 관련 편향을 최소화하기 위해 순열 기반 훈련 레시피를 사용합니다. Ali Behrouz 등은 주어진 대상 노드에 대해 가장 짧은 거리를 기준으로 다른 노드를 집계하는 새로운 그래프 표현 학습 아키텍처인 GRED [53]을 제안합니다. 이들은 스킵 표현 시퀀스를 인코딩하기 위해 선형 RNN을 채택합니다. Gregor 등[140]은 교사가 필수 교육을 통해 다음 토큰 예측자를 정확하게 학습할 수 없는 문제에 대해 논의하고, 가장 간단한 계획 과제를 통해 트랜스포머와 맘바 아키텍처가 다중 토큰 예측 교육에서 실패하는 것을 보여줍니다. Li 등[55]은 강력한 선택적 상태 공간 모델을 사용하여 STG 학습을 처리하려는 최초의 시도인 STG Mamba를 소개합니다.