We set the Infini-attention segment length \(N\) to 2048 for all attention layers and the input sequence length to 32768 for training. This allows the Infini-attention to unroll over 16 steps w.r.t its compressive memory states. For the RMT baseline, we performed several runs with summary prompt lengths 50, 100 and 150 and sequence lengths 4096, 8196 and 32768. RMT with 100 summary vectors gave the best result when trained on 8196 length sequences.
모든 attention 계층에 대해 Infini-attention 세그먼트 길이 \(N\)을 2048로 설정하고, 훈련 시 입력 시퀀스 길이를 32768로 설정했습니다. 이렇게 하면 Infini-attention이 압축 메모리 상태에 대해 16단계 이상 풀어낼 수 있습니다. RMT baseline의 경우 요약 프롬프트 길이 50, 100, 150 및 시퀀스 길이 4096, 8196, 32768로 여러 번 실행했습니다. 100개의 요약 벡터를 사용한 RMT는 8196 길이의 시퀀스에 대해 학습했을 때 가장 좋은 결과를 보여주었습니다.
모든 주의 계층에 대해 Infini-attention 세그먼트 길이 \(N\)을 2048로 설정하고, 훈련 시 입력 시퀀스 길이를 32768로 설정했습니다. 이렇게 하면 Infini-attention이 압축 메모리 상태에 대해 16단계 이상 풀어낼 수 있습니다. RMT 기준선의 경우 요약 프롬프트 길이 50, 100, 150 및 시퀀스 길이 4096, 8196, 32768로 여러 번 실행했습니다. 100개의 요약 벡터를 사용한 RMT는 8196 길이의 시퀀스에 대해 학습했을 때 가장 좋은 결과를 보여주었습니다.