Table 3 reports the token-level accuracy for test subsets with input lengths ranging from 32K to 1M. For each test subset, we controlled the position of the passkey so that it is either located around the beginning, middle or the end of the input sequence. We reported both zero-shot accuracy and fine-tuning accuracy. Infini-Transformers solved the task with up to 1M context length after fine-tuning on 5K length inputs for 400 steps.
표 3은 입력 길이가 32K에서 1M까지인 테스트 하위 집합에 대한 토큰 수준 정확도를 보고합니다. 각 테스트 하위 집합에 대해 패스키가 입력 시퀀스의 시작, 중간 또는 끝 부분에 위치하도록 위치를 제어했습니다. zero-shot 정확도와 Fine-tuning 정확도를 모두 보고했습니다. Infini-Transformers는 5K 길이의 입력에 대해 400단계 동안 Fine-tuning한 후 최대 1M context 길이로 작업을 해결했습니다.
표 3은 입력 길이가 32K에서 1M까지인 테스트 하위 집합에 대한 토큰 수준 정확도를 보고합니다. 각 테스트 하위 집합에 대해 패스키가 입력 시퀀스의 시작, 중간 또는 끝 부분에 위치하도록 위치를 제어했습니다. 제로 샷 정확도와 미세 조정 정확도를 모두 보고했습니다. 인피니 트랜스포머는 5K 길이의 입력에 대해 400단계 동안 미세 조정한 후 최대 1M 컨텍스트 길이로 작업을 해결했습니다.