**Efficient attention.** The efficient attention techniques attempt to improve the efficiency of the dot-product attention with an approximation or a system-level optimization. Multiple directions have been explored for different forms of efficient attention approximation, including sparsity-based (Child et al., 2019; Beltagy et al., 2020; Sukhbaatar et al., 2021; Ding et al., 2023) and linear attention approximation (Shen et al., 2018; Katharopoulos et al., 2020; Schlag et al., 2021). Among those, the linear attention variants are closely related to the associative memory matrix (Schlag et al., 2020; Schlag et al., 2021) and the metelearned neural memory (Munkhdalai et al., 2019), where KV bindings (Smolensky, 1990) are stored in Fast-Weights (Hinton and Plaut, 1987; Schmidhuber, 1992; Ba et al., 2016) that are modified in with respect to new contextual information. More recently, system-level optimization techniques have been proposed by leveraging specific hardware architecture to make the exact attention computation more efficient (Dao et al., 2022; Liu et al., 2023).
**Efficient attention.** Efficient attention 기법은 approximation 또는 시스템 수준의 optimization을 통해 dot-product attention의 효율성을 개선하려고 시도합니다. 희소성 기반(Child et al., 2019; Beltagy et al., 2020; Sukhbaatar et al., 2021; Ding et al., 2023) 및 linear attention approximation (Shen et al., 2018; Katharopoulos et al., 2020; Schlag et al., 2021)를 포함하여 다양한 형태의 efficient attention approximation을 위한 여러 방향이 탐구되었습니다. 이 중 linear attention 변형은 연관성 메모리 행렬(Schlag et al., 2020; Schlag et al., 2021) 및 메타 학습 신경 메모리(Munkhdalai et al., 2019)와 밀접한 관련이 있으며, 여기서 KV 바인딩(Smolensky, 1990)은 새로운 컨텍스트 정보에 대해 수정되는 Fast-Weights(Hinton and Plaut, 1987; Schmidhuber, 1992; Ba et al., 2016)에 저장됩니다. 최근에는 특정 하드웨어 아키텍처를 활용하여 정확한 attention 계산을 더 효율적으로 수행하는 시스템 수준의 optimization 기법이 제안되었습니다(Dao et al., 2022; Liu et al., 2023).
**효율적인 주의력.** 효율적 주의 기법은 근사치 또는 시스템 수준 최적화를 통해 도트 프로덕트 주의의 효율성을 개선하려고 시도합니다. 희소성 기반(Child et al., 2019; Beltagy et al., 2020; Sukhbaatar et al., 2021; Ding et al., 2023) 및 선형 주의 근사화(Shen et al., 2018; Katharopoulos et al., 2020; Schlag et al., 2021)를 포함하여 다양한 형태의 효율적 주의 근사화를 위한 여러 방향이 탐구되었습니다. 이 중 선형 주의 변형은 연관성 메모리 행렬(Schlag et al., 2020; Schlag et al., 2021) 및 메타 학습 신경 메모리(Munkhdalai et al., 2019)와 밀접한 관련이 있으며, 여기서 KV 바인딩(Smolensky, 1990)은 새로운 컨텍스트 정보에 대해 수정되는 패스트 웨이트(Hinton and Plaut, 1987; Schmidhuber, 1992; Ba et al., 2016)에 저장됩니다. 최근에는 특정 하드웨어 아키텍처를 활용하여 정확한 주의 계산을 더 효율적으로 수행하는 시스템 수준 최적화 기법이 제안되었습니다(Dao et al., 2022; Liu et al., 2023).