We employed straightforward approaches for continual pre-training on Llama-2-7b-chat, utilizing the 1 billion tokens of data from general Traditional Chinese corpus. The learning rate during continual pre-training remained constant at 3e-5, and we experimented with an additional learning rate 3e-4 for the adapter approaches. More details can be found in Appendix B.
일반 중국어 말뭉치의 10억 토큰 데이터를 활용하여 Llama-2-7b-chat에 대한 지속적인 사전 학습을 위해 간단한 접근 방식을 사용했습니다. 지속적 사전 학습 중 Learning Rate는 3e-5로 일정하게 유지되었으며, 어댑터 접근 방식에 대해서는 추가 Learning Rate 3e-4를 실험했습니다. 자세한 내용은 부록 B에서 확인할 수 있습니다.
일반 중국어 말뭉치의 10억 토큰 데이터를 활용하여 Llama-2-7b-chat에 대한 지속적인 사전 학습을 위해 간단한 접근 방식을 사용했습니다. 지속적 사전 학습 중 학습 속도는 3e-5로 일정하게 유지되었으며, 어댑터 접근 방식에 대해서는 추가 학습 속도 3e-4를 실험했습니다. 자세한 내용은 부록 B에서 확인할 수 있습니다.