**Compressive memory.** Inspired by the plasticity in biological neurons (Munkhdalai and Yu, 2017; Miconi et al., 2018), compressive memory approaches cast parameterized functions as memory to store and retrieve information (Hinton and Plaut, 1987; Schmidhuber, 1992; Ba et al., 2016; Munkhdalai et al., 2019). Unlike the Transformer KV memory array (Vaswani et al., 2017; Wu et al., 2022), which grows with input sequence length, compressive memory systems maintain a constant number of memory parameters for computational efficiency. The parameters are modified with an update rule to store information, which is then retrieved via a memory reading mechanism (Graves et al., 2014; Sukhbaatar et al., 2015; Munkhdalai and Yu, 2017b).
**압축 메모리.** 생물학적 뉴런의 가소성에서 영감을 받은 compressive memory 접근 방식은 매개변수화된 함수를 메모리로 캐스팅하여 정보를 저장하고 검색합니다(Hinton and Plaut, 1987; Schmidhuber, 1992; Ba et al., 2016; Munkhdalai et al., 2019). 입력 시퀀스 길이에 따라 커지는 Transformer KV 메모리 어레이(Vaswani et al., 2017; Wu et al., 2022)와 달리 compressive memory 시스템은 계산 효율성을 위해 일정한 수의 메모리 매개변수를 유지합니다. 매개변수는 업데이트 규칙을 통해 수정되어 정보를 저장한 다음 메모리 읽기 메커니즘(Graves et al., 2014; Sukhbaatar et al., 2015; Munkhdalai and Yu, 2017b)을 통해 검색됩니다.
**압축 메모리.** 생물학적 뉴런의 가소성에서 영감을 받은 압축 메모리 접근 방식은 매개변수화된 함수를 메모리로 캐스팅하여 정보를 저장하고 검색합니다(Hinton and Plaut, 1987; Schmidhuber, 1992; Ba et al., 2016; Munkhdalai et al., 2019). 입력 시퀀스 길이에 따라 커지는 트랜스포머 KV 메모리 어레이(Vaswani et al., 2017; Wu et al., 2022)와 달리 압축 메모리 시스템은 계산 효율성을 위해 일정한 수의 메모리 매개변수를 유지합니다. 매개변수는 업데이트 규칙을 통해 수정되어 정보를 저장한 다음 메모리 읽기 메커니즘(Graves et al., 2014; Sukhbaatar et al., 2015; Munkhdalai and Yu, 2017b)을 통해 검색됩니다.