**1M passkey retrieval benchmark.** We replaced the vanilla MHA in a 1B LLM with Infini-attention and continued to pre-train on inputs with length of 4K. The model was trained for 30K steps with batch size of 64 before fine-tuning on the passkey retrieval task (Mothashami and Jaggi, 2024).
**1M 패스키 검색 벤치마크.** 1B LLM의 기존 MHA를 Infini-attention으로 대체하고 길이가 4K인 입력에 대해 계속 pre-train을 진행했습니다. 모델은 passkey retrieval task에 대한 Fine-tuning(Mothashami 및 Jaggi, 2024) 전에 Batch Size 64로 30K 단계 동안 학습되었습니다.
**1M 패스키 검색 벤치마크.** 1B LLM의 기존 MHA를 인피니 어텐션으로 대체하고 길이가 4K인 입력에 대해 계속 사전 학습을 진행했습니다. 모델은 패스키 검색 작업에 대한 미세 조정(Mothashami 및 Jaggi, 2024) 전에 배치 크기 64로 30K 단계 동안 학습되었습니다.