We performed a lightweight continual pre-training for long-context adaptation of existing LLMs. The pre-training data includes the PG19 and Arxiv-math corpus as well as C4 text (Raffel et al., 2020) with length more than 4K tokens. The segment length \(N\) was set to 2K throughout our experiments.
기존 LLM의 긴 컨텍스트 적응을 위해 경량 연속 pre-training을 수행했습니다. pre-training 데이터에는 PG19 및 Arxiv-math 코퍼스와 4K 토큰 이상의 길이를 가진 C4 텍스트(Raffel et al., 2020)가 포함됩니다. 세그먼트 길이 \(N\)은 실험 전반에 걸쳐 2K로 설정되었습니다.
기존 LLM의 긴 컨텍스트 적응을 위해 경량 연속 사전 학습을 수행했습니다. 사전 학습 데이터에는 PG19 및 Arxiv-math 코퍼스와 4K 토큰 이상의 길이를 가진 C4 텍스트(Raffel et al., 2020)가 포함됩니다. 세그먼트 길이 \(N\)은 실험 전반에 걸쳐 2K로 설정되었습니다.