In real applications, there is an increasing demand for long context modeling capacities of LLMs, such as PDF processing and story writing [286]. Many closed-source LLMs provide professional support for long text processing. For instance, OpenAI releases GPT-4 Turbo with a 128K context window, and Anthropic releases Claude 2.1 with a 200K context window. To enhance the long context modeling abilities, there are generally two feasible directions, namely scaling position embeddings and adapting context window. Next, we introduce the two parts in detail.
실제 애플리케이션에서는 PDF 처리 및 스토리 작성과 같은 LLM의 긴 context 모델링 기능에 대한 수요가 증가하고 있습니다[286]. 많은 비공개 LLM은 긴 텍스트 처리를 위한 전문적인 지원을 제공합니다. 예를 들어, OpenAI는 context 창이 128K인 GPT-4 Turbo를 출시했고, Anthropic은 context 창이 200K인 Claude 2.1을 출시했습니다. 긴 context 모델링 기능을 향상시키기 위해 일반적으로 두 가지 가능한 방향, 즉 position embeddings을 확장하고 context 창을 조정하는 방법이 있습니다. 다음에서는 이 두 부분을 자세히 소개합니다.
실제 애플리케이션에서는 PDF 처리 및 스토리 작성과 같은 LLM의 긴 컨텍스트 모델링 기능에 대한 수요가 증가하고 있습니다[286]. 많은 비공개 LLM은 긴 텍스트 처리를 위한 전문적인 지원을 제공합니다. 예를 들어, OpenAI는 컨텍스트 창이 128K인 GPT-4 터보를 출시했고, Anthropic은 컨텍스트 창이 200K인 Claude 2.1을 출시했습니다. 긴 문맥 모델링 기능을 향상시키기 위해 일반적으로 두 가지 가능한 방향, 즉 위치 임베딩을 확장하고 문맥 창을 조정하는 방법이 있습니다. 다음에서는 이 두 부분을 자세히 소개합니다.