Continue PretrainingWe continue pretrain the full-attention model using sequence parallelism [43] and distributed attention. This is to say, we do not use any sparse or linear attention, but use a brute force implementation of the full attention. We continue pretrain the Yi 6B/ 34B base model on the data mixture of (1). original pretraining data, as is introduced in section 2; (2). length-upsampled long-context data, where the long documents are mostly from books; (3). multi-document question-answering synthetic data, where we construct QA pairs where the answer contains a recitation of the related paragraph before the answer. Our data approach mostly follows the data engineering practice in Fu et al. [22] and Yu et al. [87]. We continue pretrain the model on 5B tokens with 4M batch size, which translate to 100 optimization steps. Aligning with the concurrent work from Fu et al. [22], we observe that such light-weight continue pretraining is already able to enable a strong performance on Needle-in-a-Haystack test, as we will show in Figure 6.
사전 학습 계속하기. 우리는 sequence parallelism [43]과 distributed attention을 사용하여 full-attention 모델을 계속 사전 학습합니다. 즉, sparse 또는 linear attention을 사용하지 않고 full attention에 대한 brute force 구현을 사용합니다. 우리는 섹션 2에서 소개한 (1) 원래의 사전 학습 데이터; (2) 길이가 업샘플링된 long-context 데이터(긴 문서는 대부분 책에서 가져옴); (3) 답변에 답변 앞의 관련 단락을 인용하는 QA 쌍을 구성하는 multi-document question-answering synthetic 데이터의 혼합물에 대해 Yi 6B/34B base 모델을 계속 사전 학습합니다. 우리의 데이터 접근 방식은 대부분 Fu et al. [22] 및 Yu et al. [87]의 데이터 엔지니어링 관행을 따릅니다. 우리는 4M batch size로 5B tokens에 대해 모델을 계속 사전 학습하여 100 optimization 단계로 변환합니다. Fu et al. [22]의 동시 작업과 일치하도록, 우리는 그림 6에서 보여질 것처럼 이러한 가벼운 웨이트 계속 사전 학습이 이미 Needle-in-a-Haystack 테스트에서 강력한 성능을 발휘할 수 있음을 관찰했습니다.
사전 학습 계속하기시퀀스 병렬 처리[43]와 분산 주의를 사용하여 전체 주의 모델을 사전 학습합니다. 즉, 스파스 또는 선형 주의를 사용하지 않고 전체 주의에 대한 무차별 대입 구현을 사용합니다. 섹션 2에서 소개한 (1)의 데이터 혼합물에 대해 Yi 6B/34B 기본 모델을 사전 학습합니다; (2). 길이가 업샘플링된 긴 컨텍스트 데이터(긴 문서는 대부분 책에서 가져옴); (3). 답변에 답변 앞의 관련 단락을 인용하는 QA 쌍을 구성하는 다중 문서 질의응답 합성 데이터. 데이터 접근 방식은 대부분 Fu et al. [22] 및 Yu et al. [87]. 4M 배치 크기로 5B 토큰에 대해 모델을 계속 학습하여 100개의 최적화 단계로 변환합니다. Fu et al. [22]의 동시 작업과 일치하도록, 우리는 그림 6에서 보여질 것처럼 이러한 가벼운 웨이트 계속 학습이 이미 건초더미에서 바늘을 찾는 테스트에서 강력한 성능을 발휘할 수 있음을 관찰했습니다.