Tasks involving lengthy contexts depend on the implicit information within these contexts, circumventing the need for the extensive knowledge often absent in SLMs. In this section, we expand the context length of MiniCPM-2.4B from 4,096 to 128,000 tokens, illustrating the capability of SLM to effectively process long contexts.
긴 문맥을 포함하는 작업은 이러한 문맥 내의 암시적 정보에 의존하며, 이는 종종 SLM에서 부족한 방대한 지식의 필요성을 피할 수 있게 합니다. 이 섹션에서는 MiniCPM-2.4B의 문맥 길이를 4,096 토큰에서 128,000 토큰으로 확장하여 SLM이 긴 문맥을 효과적으로 처리할 수 있는 능력을 보여줍니다.
긴 컨텍스트가 필요한 작업은 이러한 컨텍스트 내의 암묵적 정보에 의존하여 SLM에 종종 없는 광범위한 지식이 필요하지 않도록 합니다. 이 섹션에서는 미니CPM-2.4B의 컨텍스트 길이를 4,096에서 128,000 토큰으로 확장하여 SLM이 긴 컨텍스트를 효과적으로 처리할 수 있는 기능을 보여 줍니다.