The main results from the language modeling experiments are summarized in Table 2. Our Infini-Transformer outperforms both Transformer-XL (Dai et al., 2019) and Memorizing Transformers (Wu et al., 2022) baselines while maintaining 114x less memory parameters than the Memorizing Transformer model with a vector retrieval-based KV memory with length of 65K at its 9\({}^{th}\) layer.
언어 모델링 실험의 주요 결과는 Table 2에 요약되어 있습니다. 우리의 Infini-Transformer는 Transformer-XL (Dai et al., 2019)과 Memorizing Transformers (Wu et al., 2022) 기준 모델을 능가하면서도, 9\({}^{th}\) 레이어에서 길이 65K의 벡터 검색 기반 KV 메모리를 사용하는 Memorizing Transformer 모델보다 114배 적은 메모리 파라미터를 유지합니다.
언어 모델링 실험의 주요 결과는 표 2에 요약되어 있습니다. 우리의 Infini-Transformer는 9\({}^{th}\) 레이어에서 벡터 검색 기반 KV 메모리 길이가 65K인 Memorizing Transformer 모델보다 114배 적은 메모리 파라미터를 유지하면서 Transformer-XL(Dai et al., 2019) 및 Memorizing Transformer(Wu et al., 2022) 베이스라인을 모두 능가합니다.