Compressed input representations can be viewed as a summary of past sequence segments (Rae et al., 2019; Chevalier et al., 2023). Along this direction, more recent works have been utilizing a Transformer LLM itself to compress input sequence for efficient long-context modeling (Bulatov et al., 2022; Chevalier et al., 2023; Ge et al., 2023; Mu et al., 2024). However, the previous segment-level compression methods, including Compressive Transformers (Rae et al., 2019) still discard the memory entries of old segments in order to free up space for the new ones, limiting their context window to the most recent segments. This is in contrast to our Infini-attention that computes incremental memory updates to a fixed amount of memory parameters in a recurrent fashion.
압축된 입력 표현은 과거 시퀀스 세그먼트의 요약으로 볼 수 있습니다(Rae et al., 2019; Chevalier et al., 2023). 이러한 방향으로 최근 연구에서는 효율적인 장문맥 모델링을 위해 Transformer LLM 자체를 활용하여 입력 시퀀스를 압축하는 방식이 활용되고 있습니다(Bulatov et al., 2022; Chevalier et al., 2023; Ge et al., 2023; Mu et al., 2024). 그러나 Compressive Transformers(Rae et al., 2019)를 비롯한 기존의 세그먼트 수준 압축 방법은 새로운 세그먼트를 위한 공간을 확보하기 위해 이전 세그먼트의 메모리 항목을 삭제하기 때문에 컨텍스트 창을 가장 최근 세그먼트로 제한합니다. 이는 반복적인 방식으로 고정된 양의 메모리 파라미터에 대한 증분 메모리 업데이트를 계산하는 Infini-attention과는 대조적입니다.
압축된 입력 표현은 과거 시퀀스 세그먼트의 요약으로 볼 수 있습니다(Rae et al., 2019; Chevalier et al., 2023). 이러한 방향으로 최근 연구에서는 효율적인 장문맥 모델링을 위해 트랜스포머 LLM 자체를 활용하여 입력 시퀀스를 압축하는 방식이 활용되고 있습니다(Bulatov et al., 2022; Chevalier et al., 2023; Ge et al., 2023; Mu et al., 2024). 그러나 압축 트랜스포머(Rae et al., 2019)를 비롯한 기존의 세그먼트 수준 압축 방법은 새로운 세그먼트를 위한 공간을 확보하기 위해 이전 세그먼트의 메모리 항목을 삭제하기 때문에 컨텍스트 창을 가장 최근 세그먼트로 제한합니다. 이는 반복적인 방식으로 고정된 양의 메모리 파라미터에 대한 증분 메모리 업데이트를 계산하는 인피니 어텐션과는 대조적입니다.