Figure 2 compares our model, Infini-Transformer, and Transformer-XL (Dai et al., 2019). Similar to Transformer-XL, Infini-Transformer operates on a sequence of segments. We compute the standard causal dot-product attention context within each segment. So the dot-product attention computation is local in a sense that it covers a total \(N\) number of tokens of the current segment with index \(S\) (\(N\) is the segment length).
그림 2는 우리 모델인 Infini-Transformer와 Transformer-XL(Dai et al., 2019)을 비교한 것이다. Transformer-XL과 마찬가지로 Infini-Transformer는 일련의 세그먼트에서 작동한다. 각 세그먼트 내에서 표준 인과적 dot-product attention 컨텍스트를 계산합니다. 따라서 dot-product attention 계산은 현재 세그먼트의 인덱스 \(S\)로 총 \(N\)개의 토큰을 커버한다는 의미에서 로컬입니다(\(N\)은 세그먼트 길이).
그림 2는 우리 모델인 Infini-Transformer와 Transformer-XL(Dai et al., 2019)을 비교한 것이다. Transformer-XL과 마찬가지로 Infini-Transformer는 일련의 세그먼트에서 작동한다. 각 세그먼트 내에서 표준 인과적 도트 프로덕트 주의 컨텍스트를 계산합니다. 따라서 도트 프로덕트 주의 계산은 현재 세그먼트의 인덱스 \(S\)로 총 \(N\)개의 토큰을 커버한다는 의미에서 로컬입니다(\(N\)은 세그먼트 길이).