\(\bullet\)_Long context_. Long context modeling is an important ability for LLMs, and many studies have explored extending the context windows of LLMs via continually training [235, 238]. With modifications on position embeddings (_i.e.,_ position interpolation) of RoPE-based LLMs [57, 99, 240], CodeLLaMA further extends the context window of LLaMA 2 (2.5T tokens with 4K context window \(\rightarrow\) 20B tokens with 16K context window). LongLLaMA [238] also achieves longer context window with the help of external memory and a unique training objective (1T tokens with 2K context window \(\rightarrow\) 10B tokens with 8K context window).
\(\bullet\)_긴 문맥_. 긴 문맥 모델링은 LLMs에게 중요한 능력이며, 많은 연구에서 지속적으로 훈련을 통해 LLMs의 문맥 창을 확장하는 방법을 모색해 왔습니다[235, 238]. RoPE 기반 LLMs[57, 99, 240]의 위치 임베딩(_즉, 위치 보간)을 수정한 CodeLLaMA는 LLaMA 2의 컨텍스트 창을 더욱 확장합니다(컨텍스트 창이 4K인 2.5T 토큰 \(\rightarrow\) 컨텍스트 창이 16K인 20B 토큰). LongLLaMA[238]도 외부 메모리와 고유한 training objective의 도움으로 더 긴 컨텍스트 창을 달성합니다(컨텍스트 창이 2K인 1T 토큰 \(\rightarrow\) 컨텍스트 창이 8K인 10B 토큰).
\(\bullet\)_긴 문맥_. 긴 문맥 모델링은 LLM에게 중요한 능력이며, 많은 연구에서 지속적으로 훈련을 통해 LLM의 문맥 창을 확장하는 방법을 모색해 왔습니다[235, 238]. RoPE 기반 LLM[57, 99, 240]의 위치 임베딩(_즉, 위치 보간)을 수정한 CodeLLaMA는 LLaMA 2의 컨텍스트 창을 더욱 확장합니다(컨텍스트 창이 4K인 2.5T 토큰 \(\rightarrow\) 컨텍스트 창이 16K인 20B 토큰). LongLLaMA[238]도 외부 메모리와 고유한 훈련 목표의 도움으로 더 긴 컨텍스트 창을 달성합니다(컨텍스트 창이 2K인 1T 토큰 \(\rightarrow\) 컨텍스트 창이 8K인 10B 토큰).