\(\bullet\)_External memory._ It has been shown that a relatively small subset of tokens can effectively capture the majority of attention patterns in a Transformer [301], _i.e.,_ the top-\(k\) attention keys can well approximate the original full attention. Therefore, a number of studies propose to store the past keys in external memory and utilize a \(k\)-NN search method to retrieve the \(k\) most relevant tokens for generation [302, 301, 238]. For a decoder model, it typically employs one certain layer to access these top-\(k\) external tokens, while still adopts the normal context window in the rest layers [302, 238].
\(\bullet\)_외부 메모리._ 비교적 작은 토큰 하위 집합이 Transformer의 대부분의 attention 패턴을 효과적으로 포착할 수 있음이 입증되었습니다[301], 즉, 상위 \(k\) attention 키가 원래의 전체 attention을 잘 approximation할 수 있습니다. 따라서 많은 연구에서 과거 키를 외부 메모리에 저장하고 \(k\)-NN 검색 방법을 활용하여 생성에 가장 관련성이 높은 토큰 \(k\)를 검색할 것을 제안합니다[302, 301, 238]. Decoder 모델의 경우, 일반적으로 이러한 상위 \(k\) 외부 토큰에 액세스하기 위해 특정 레이어를 사용하는 반면 나머지 레이어에서는 일반적인 컨텍스트 창을 채택합니다[302, 238].
\(\bullet\)_외부 메모리._ 비교적 작은 토큰 하위 집합이 트랜스포머의 대부분의 주의 패턴을 효과적으로 포착할 수 있음이 입증되었습니다[301], 즉, 상위 \(k\) 주의 키가 원래의 전체 주의를 잘 근사화할 수 있습니다. 따라서 많은 연구에서 과거 키를 외부 메모리에 저장하고 \(k\)-NN 검색 방법을 활용하여 생성에 가장 관련성이 높은 토큰 \(k\)를 검색할 것을 제안합니다[302, 301, 238]. 디코더 모델의 경우, 일반적으로 이러한 상위 \(k\) 외부 토큰에 액세스하기 위해 특정 레이어를 사용하는 반면 나머지 레이어에서는 일반적인 컨텍스트 창을 채택합니다[302, 238].