MethodFollowing the methodology outlined by Kim et al. [38], our goal is to upscale our Yi-6B base model, which has 32 layers, to a 9B model named the Yi-9B base model, featuring 48 layers, by duplicating the original 16 middle layers 12-28. Depth up-scaling involves expanding the base model's depth and subsequently continuing the pretraining phase for the enhanced model.
방법 Kim 등[38]이 설명한 방법론에 따라 32개의 레이어를 가진 Yi-6B base 모델을 16개의 중간 레이어 12-28을 복제하여 48개의 레이어를 가진 Yi-9B base 모델이라는 9B 모델로 upscaling하는 것이 목표입니다. Depth upscaling은 base 모델의 depth를 확장한 다음 향상된 모델에 대한 pretraining 단계를 계속하는 것을 포함합니다.
방법Kim 등[38]이 설명한 방법론에 따라 32개의 레이어를 가진 Yi-6B 기본 모델을 16개의 중간 레이어 12-28을 복제하여 48개의 레이어를 가진 Yi-9B 기본 모델이라는 9B 모델로 업스케일링하는 것이 목표입니다. 깊이 업스케일링은 기본 모델의 깊이를 확장한 다음 향상된 모델에 대한 전처리 단계를 계속하는 것을 포함합니다.