While there are different forms of compressive memory proposed in the literature (Hopfield, 1982; Kanerva, 1988; Schlag et al., 2019; Munkhdalai et al., 2019), for simplicity and computational efficiency, in this work we parameterize the memory with an associative matrix (Schlag et al., 2020). This approach further allows us to cast the memory update and retrieval process as linear attention mechanism (Shen et al., 2018) and to leverage stable training techniques from the related methods. Specially, we adopt the update rule and retrieval mechanism by Katharopoulos et al. (2020) mainly due to its simplicity and competitive performance.
문헌에 제안된 다양한 형태의 압축 메모리(Hopfield, 1982; Kanerva, 1988; Schlag et al., 2019; Munkhdalai et al., 2019)가 있지만, 이 작업에서는 단순성과 계산 효율성을 위해 연상 행렬(Schlag et al., 2020)로 메모리를 매개변수화합니다. 이 접근 방식을 통해 메모리 업데이트 및 검색 프로세스를 linear attention 메커니즘(Shen et al., 2018)으로 캐스팅하고 관련 방법에서 안정적인 훈련 기술을 활용할 수 있습니다. 특히, 우리는 주로 단순성과 경쟁력 있는 성능으로 인해 Katharopoulos 등(2020)의 업데이트 규칙과 검색 메커니즘을 채택합니다.
문헌에 제안된 다양한 형태의 압축 메모리(Hopfield, 1982; Kanerva, 1988; Schlag et al., 2019; Munkhdalai et al., 2019)가 있지만, 이 작업에서는 단순성과 계산 효율성을 위해 연상 행렬(Schlag et al., 2020)로 메모리를 매개변수화합니다. 이 접근 방식을 통해 메모리 업데이트 및 검색 프로세스를 선형 주의 메커니즘(Shen et al., 2018)으로 캐스팅하고 관련 방법에서 안정적인 훈련 기술을 활용할 수 있습니다. 특히, 우리는 주로 단순성과 경쟁력 있는 성능으로 인해 Katharopoulos 등(2020)의 업데이트 규칙과 검색 메커니즘을 채택합니다.