We train the model in a _many-to-many_ multilingual machine translation manner, starting with ALMA-13B-LoRA as the initial checkpoint. During the training phase, we focus exclusively on updating the weights of the added LoRA parameters. These weights have a rank of 16 and only add an additional 12M parameters to the original 13B size of the model. We adhere to the default \(\beta\) value of 0.1 as suggested by Rafailov et al. (2023). The fine-tuning process of ALMA-13B-LoRA involves a batch size of 128, a warm-up ratio of 0.01, spanning a single epoch, and accommodating sequences with a maximum length of 512 tokens. To optimize training efficiency, we integrate the deepspeed tool (Rasley et al., 2020). We utilize the same prompt as Xu et al. (2023) and do not compute the loss for the prompt. While our primary focus is on the performance of 13B models, CPO markedly benefits 7B models as well. Consequently, we also release ALMA-7B-R and provide a detailed discussion of its performance in Appendix A.
초기 체크포인트로 ALMA-13B-LoRA를 시작으로 _다대다_ 다국어 기계 번역 방식으로 모델을 학습합니다. 훈련 단계에서는 추가된 LoRA 파라미터의 가중치만 업데이트하는 데 집중합니다. 이 가중치는 순위가 16이며 모델의 원래 13B 크기에 12M의 파라미터만 추가합니다. Rafailov 등(2023)이 제안한 기본 \(\beta\) 값 0.1을 준수합니다. ALMA-13B-LoRA의 Fine-tuning 프로세스에는 Batch Size 128, 워밍업 비율 0.01, 한 번의 에포크에 걸쳐 최대 길이 512 토큰의 시퀀스를 수용하는 것이 포함됩니다. 훈련 효율을 최적화하기 위해 deepspeed 도구(Rasley et al., 2020)를 통합합니다. Xu 등(2023)과 동일한 프롬프트를 사용하며 프롬프트에 대한 Loss를 계산하지 않습니다. 13B 모델의 성능에 중점을 두고 있지만, CPO는 7B 모델에도 현저한 이점을 제공합니다. 따라서 ALMA-7B-R도 출시하고 그 성능에 대한 자세한 논의는 부록 A에서 제공합니다.
초기 체크포인트로 ALMA-13B-LoRA를 시작으로 _다대다_ 다국어 기계 번역 방식으로 모델을 학습합니다. 훈련 단계에서는 추가된 LoRA 파라미터의 가중치만 업데이트하는 데 집중합니다. 이 가중치는 순위가 16이며 모델의 원래 13B 크기에 12M의 파라미터만 추가합니다. Rafailov 등(2023)이 제안한 기본 \(\beta\) 값 0.1을 준수합니다. ALMA-13B-LoRA의 미세 조정 프로세스에는 배치 크기 128, 워밍업 비율 0.01, 한 번의 에포크에 걸쳐 최대 길이 512 토큰의 시퀀스를 수용하는 것이 포함됩니다. 훈련 효율을 최적화하기 위해 딥스피드 도구(Rasley et al., 2020)를 통합합니다. Xu 등(2023)과 동일한 프롬프트를 사용하며 프롬프트에 대한 손실을 계산하지 않습니다. 13B 모델의 성능에 중점을 두고 있지만, CPO는 7B 모델에도 현저한 이점을 제공합니다. 따라서 ALMA-7B-R도 출시하고 그 성능에 대한 자세한 논의는 부록 A에서 제공합니다.