The results on LongBench (Bai et al., 2023) are presented in Table 12. This benchmark is specifically designed to test the long context ability of LLMs. We test the Chinese subsets of LongBench (including code tasks). The models marked with 16K were finetuned using Positional Interpolation (PI) method (Chen et al., 2023), which supports 16K context. The models marked with 64K were finetuned using YaRN method (Peng et al., 2023), which supports 64K context.
LongBench(Bai et al., 2023)에 대한 결과는 표 12에 나와 있습니다. 이 벤치마크는 LLM의 긴 문맥 능력을 테스트하기 위해 특별히 설계되었습니다. LongBench의 중국어 하위 집합(코드 작업 포함)을 테스트합니다. 16K로 표시된 모델은 16K 컨텍스트를 지원하는 Positional Interpolation (PI) 방법(Chen et al., 2023)을 사용하여 Fine-tuning되었습니다. 64K로 표시된 모델은 64K 컨텍스트를 지원하는 YaRN 방법(Peng et al., 2023)을 사용하여 Fine-tuning되었습니다.
LongBench(Bai et al., 2023)에 대한 결과는 표 12에 나와 있습니다. 이 벤치마크는 LLM의 긴 문맥 능력을 테스트하기 위해 특별히 설계되었습니다. LongBench의 중국어 하위 집합(코드 작업 포함)을 테스트합니다. 16K로 표시된 모델은 16K 컨텍스트를 지원하는 위치 보간(PI) 방법(Chen et al., 2023)을 사용하여 미세 조정되었습니다. 64K로 표시된 모델은 64K 컨텍스트를 지원하는 YaRN 방법(Peng et al., 2023)을 사용하여 미세 조정되었습니다.