Similar to RNNs, SSM also suffers from the vanishing/exploding gradients problem when modeling longer sequences. To tackle this issue, HiPPO [36] model combines the concepts of Recurrent Memory and Optimal Polynomial Projections, which can significantly improve the performance of recursive memory, This mechanism is very helpful for SSM to handle long sequences and long-term dependencies.
RNN과 마찬가지로 SSM도 긴 시퀀스를 모델링할 때 소실/폭발 gradients 문제를 겪습니다. 이 문제를 해결하기 위해 HiPPO [36] 모델은 Recurrent Memory와 Optimal Polynomial Projections의 개념을 결합하여 Recurrent Memory의 성능을 크게 향상시킬 수 있으며, 이 메커니즘은 SSM이 긴 시퀀스와 장기 종속성을 처리하는 데 매우 유용합니다.
RNN과 마찬가지로 SSM도 긴 시퀀스를 모델링할 때 소실/폭발 그라디언트 문제를 겪습니다. 이 문제를 해결하기 위해 HiPPO [36] 모델은 순환 메모리와 최적 다항식 투영의 개념을 결합하여 순환 메모리의 성능을 크게 향상시킬 수 있으며, 이 메커니즘은 SSM이 긴 시퀀스와 장기 종속성을 처리하는 데 매우 유용합니다.