Compressive memory systems promise to be more scalable and efficient than the attention mechanism for extremely long sequences (Kanerva, 1988; Munkhdalai et al., 2019). Instead of using an array that grows with the input sequence length, a compressive memory primarily maintains a fixed number of parameters to store and recall information with a bounded storage and computation costs. In the compressive memory, new information is added to the memory by changing its parameters with an objective that this information can be recovered back later on. However, the LLMs in their current state have yet to see an effective, practical compressive memory technique that balances simplicity along with quality.
압축 메모리 시스템은 매우 긴 시퀀스에 대해 주의 메커니즘보다 더 확장 가능하고 효율적일 것을 약속합니다 (Kanerva, 1988; Munkhdalai et al., 2019). 입력 시퀀스 길이에 따라 배열이 커지는 대신, 압축 메모리는 주로 고정된 수의 매개변수를 유지하여 제한된 저장 및 계산 비용으로 정보를 저장하고 회수합니다. 압축 메모리에서는 새로운 정보가 나중에 회수될 수 있도록 매개변수를 변경하여 메모리에 추가됩니다. 그러나 현재 상태의 LLM들은 단순성과 품질을 균형 있게 유지하는 효과적이고 실용적인 압축 메모리 기술을 아직 보지 못했습니다.
압축 메모리 시스템은 매우 긴 시퀀스에 대해 주의 메커니즘보다 확장성과 효율성이 더 높을 것으로 기대됩니다(Kanerva, 1988; Munkhdalai et al., 2019). 압축 메모리는 입력 시퀀스 길이에 따라 증가하는 배열을 사용하는 대신, 주로 제한된 저장 및 계산 비용으로 정보를 저장하고 불러오기 위해 고정된 수의 파라미터를 유지합니다. 압축 메모리에서 새로운 정보는 이 정보를 나중에 다시 검색할 수 있도록 파라미터를 변경하여 메모리에 추가됩니다. 그러나 현재 상태의 LLM은 단순성과 품질의 균형을 맞추는 효과적이고 실용적인 압축 메모리 기술을 아직 보지 못했습니다.