We replicated the Amber model utilizing the Llama2-7B configuration. The tokenized data from Amber, originally processed with a sequence length of 2048, was further detokenized and re-encoded to a sequence length of 4096 as per the preprocessing strategy of Megatron-LM (Shoeybi et al., 2020). In aligning with the Llama2 model's architecture and hyperparameters, we adopted a sequence length of 4096 and a batch size of 4 million tokens. In order to increase the training efficiency, we incorporate GQA technologies, utilizing a configuration with 32 attention heads and a group size of 4.
Llama2-7B 구성을 사용하여 Amber 모델을 복제했습니다. 원래 시퀀스 길이가 2048로 처리된 Amber의 토큰화된 데이터를 Megatron-LM(Shoeybi et al., 2020)의 전처리 전략에 따라 4096의 시퀀스 길이로 다시 토큰화하고 다시 인코딩했습니다. Llama2 모델의 아키텍처 및 하이퍼파라미터에 따라 시퀀스 길이 4096과 Batch Size 4백만 토큰을 채택했습니다. 훈련 효율성을 높이기 위해 32개의 Attention 헤드와 4개의 그룹 크기로 구성된 GQA 기술을 통합했습니다.
Llama2-7B 구성을 사용하여 Amber 모델을 복제했습니다. 원래 시퀀스 길이가 2048로 처리된 Amber의 토큰화된 데이터를 메가트론-LM(Shoeybi et al., 2020)의 전처리 전략에 따라 4096의 시퀀스 길이로 다시 토큰화하고 다시 인코딩했습니다. Llama2 모델의 아키텍처 및 하이퍼파라미터에 따라 시퀀스 길이 4096과 배치 크기 4백만 토큰을 채택했습니다. 훈련 효율성을 높이기 위해 32개의 주의 헤드와 4개의 그룹 크기로 구성된 GQA 기술을 통합했습니다.