The passkey task hides a random number into a long text and asks it back at the model output. The length of the distraction text is varied by repeating a text chunk multiple times. The previous work (Chen et al., 2023a) showed that a 8B LLMA model can solve the task up to 32K length when fine-tuned with the same 32K length inputs with Position Interpolation. We take this challenge further and fine-tune on only 5K length inputs to test on 1M length regime.
패스키 태스크는 긴 텍스트에 난수를 숨기고 모델 출력에서 다시 묻는 방식입니다. 산만한 텍스트의 길이는 텍스트 청크를 여러 번 반복하여 변경합니다. 이전 작업(Chen et al., 2023a)에서는 8B LLMA 모델이 Position Interpolation을 통해 동일한 32K 길이의 입력으로 Fine-tuning할 때 최대 32K 길이까지 작업을 해결할 수 있음을 보여주었습니다. 이 과제를 더욱 발전시켜 5K 길이의 입력으로만 Fine-tuning하여 1M 길이 체제에서 테스트합니다.
패스키 태스크는 긴 텍스트에 난수를 숨기고 모델 출력에서 다시 묻는 방식입니다. 산만한 텍스트의 길이는 텍스트 청크를 여러 번 반복하여 변경합니다. 이전 작업(Chen et al., 2023a)에서는 8B LLMA 모델이 위치 보간을 통해 동일한 32K 길이의 입력으로 미세 조정할 때 최대 32K 길이까지 작업을 해결할 수 있음을 보여주었습니다. 이 과제를 더욱 발전시켜 5K 길이의 입력으로만 미세 조정하여 1M 길이 체제에서 테스트합니다.