retical analysis and numerical verification, it is concluded that state-space models do not fundamentally address the issue of exponential decaying memory. Samsami et al. [169] propose a method named R2I to enhance long-term memory and long-term credit, which integrates a set of state-space models into the world model of model-based reinforcement learning (MBRL) agents, thereby solving the issue that existing MBRL agents were unable to deal with the long-term intervals between actions and outcomes. Experimental results demonstrated that R2I achieved state-of-the-art performance in memory and credit assignment RL tasks, while also exhibiting faster convergence speed. Black-Mamba [167] merging SSMs with mixture-of-experts (MoE) significantly reduces inference costs, paving the way for efficient and scalable text generation tasks. MambaByte [166] is a token-free selective State Space Model designed for learning directly from raw bytes and its recurrent nature enables fast text generation, highlighting its practicality for large-scale models and paving the way for future developments in token-free language modeling. Self pretraining (SPT) [192] challenges the conventional approach of comparing long-sequence models from scratch, revealing that pre-training with data-driven priors significantly alters performance evaluations. By leveraging pre-training, the research achieves substantial improvements across various architectures, closing the performance gap between Transformers and SSMs and even surpassing previous SSM results on tasks. Laughing Hyena Distillery [161] proposes Laughing Hyena, a new distillation method that extracts compact state-space models from pre-trained long convolutional sequence models without loss of quality, utilizes rational function approximation and model downscaling techniques to extract low-dimensional state-space models in the convolutional layers, and achieves automated regression generation with constant memory and constant time complexity. Improved Hyena improves pre-training quality and reduces the number of filters to be distilled by binding filter weights to heads across channels.
리터럴 분석과 수치 검증을 통해 state-space models가 기하급수적으로 감소하는 메모리 문제를 근본적으로 해결하지 못한다는 결론을 내렸습니다. Samsami 외[169]는 장기 메모리와 장기 크레딧을 향상시키기 위해 R2I라는 방법을 제안하여 일련의 state-space models를 모델 기반 Reinforcement Learning (MBRL) 에이전트의 월드 모델에 통합함으로써 기존 MBRL 에이전트가 행동과 결과 사이의 장기 간격을 처리할 수 없었던 문제를 해결했습니다. 실험 결과, R2I는 메모리 및 크레딧 할당 RL 작업에서 최첨단 성능을 달성하는 동시에 더 빠른 수렴 속도를 보여주었습니다. Black-Mamba[167]는 mixture-of-experts (MoE)와 SSM을 병합하여 추론 비용을 크게 줄여 효율적이고 확장 가능한 텍스트 생성 작업의 토대를 마련했습니다. MambaByte[166]는 원시 바이트에서 직접 학습하도록 설계된 토큰 프리 셀렉티브 State Space Model로, 순환적 특성으로 인해 빠른 텍스트 생성이 가능하며 대규모 모델에 대한 실용성을 강조하고 토큰 프리 언어 모델링의 향후 발전을 위한 토대를 마련했습니다. Self pretraining (SPT) [192]은 처음부터 긴 시퀀스 모델을 비교하는 기존 접근 방식에 도전하여 데이터 기반 선험으로 사전 학습하면 성능 평가가 크게 달라진다는 사실을 밝혀냈습니다. 이 연구는 사전 학습을 활용하여 다양한 아키텍처에서 상당한 개선을 달성하여 Transformers와 SSM 간의 성능 격차를 해소하고 심지어 작업에서 이전 SSM 결과를 능가했습니다. Laughing Hyena Distillery[161]는 품질 손실 없이 사전 학습된 긴 컨볼루션 시퀀스 모델에서 컴팩트한 state-space models를 추출하고, 합리적 함수 근사 및 모델 다운스케일링 기술을 활용하여 컨볼루션 레이어에서 저차원 state-space models를 추출하며, 일정한 메모리와 일정한 시간 복잡도로 자동화된 회귀 생성을 달성하는 새로운 증류 방법인 Laughing Hyena를 제안합니다. Improved Hyena는 사전 학습 품질을 개선하고 채널 간 헤드에 필터 가중치를 바인딩하여 증류할 필터 수를 줄입니다.
리터럴 분석과 수치 검증을 통해 상태 공간 모델이 기하급수적으로 감소하는 메모리 문제를 근본적으로 해결하지 못한다는 결론을 내렸습니다. Samsami 외[169]는 장기 메모리와 장기 크레딧을 향상시키기 위해 R2I라는 방법을 제안하여 일련의 상태 공간 모델을 모델 기반 강화 학습(MBRL) 에이전트의 월드 모델에 통합함으로써 기존 MBRL 에이전트가 행동과 결과 사이의 장기 간격을 처리할 수 없었던 문제를 해결했습니다. 실험 결과, R2I는 메모리 및 크레딧 할당 RL 작업에서 최첨단 성능을 달성하는 동시에 더 빠른 수렴 속도를 보여주었습니다. 블랙맘바[167]는 혼합전문가(MoE)와 SSM을 병합하여 추론 비용을 크게 줄여 효율적이고 확장 가능한 텍스트 생성 작업의 토대를 마련했습니다. 맘바바이트[166]는 원시 바이트에서 직접 학습하도록 설계된 토큰 프리 셀렉티브 상태 공간 모델로, 순환적 특성으로 인해 빠른 텍스트 생성이 가능하며 대규모 모델에 대한 실용성을 강조하고 토큰 프리 언어 모델링의 향후 발전을 위한 토대를 마련했습니다. 셀프 프리트레이닝(SPT) [192]은 처음부터 긴 시퀀스 모델을 비교하는 기존 접근 방식에 도전하여 데이터 기반 선험으로 사전 학습하면 성능 평가가 크게 달라진다는 사실을 밝혀냈습니다. 이 연구는 사전 학습을 활용하여 다양한 아키텍처에서 상당한 개선을 달성하여 트랜스포머와 SSM 간의 성능 격차를 해소하고 심지어 작업에서 이전 SSM 결과를 능가했습니다. 웃는 하이에나 증류소[161]는 품질 손실 없이 사전 학습된 긴 컨볼루션 시퀀스 모델에서 컴팩트한 상태 공간 모델을 추출하고, 합리적 함수 근사 및 모델 다운스케일링 기술을 활용하여 컨볼루션 레이어에서 저차원 상태 공간 모델을 추출하며, 일정한 메모리와 일정한 시간 복잡도로 자동화된 회귀 생성을 달성하는 새로운 증류 방법인 웃는 하이에나를 제안합니다. 개선된 하이에나는 사전 학습 품질을 개선하고 채널 간 헤드에 필터 가중치를 바인딩하여 증류할 필터 수를 줄입니다.