In this paper, we focus on how to effectively transfer the capabilities of language generation and following instructions to a non-English language. Specifically, we conducts a comprehensive empirical study to analyze the necessity of vocabulary extension and the required training scale for effective transfer. We find that vocabulary extension is necessary and that comparable transfer performance to state-of-the-art models can be achieved with less than \(1\%\) of the further pretraining data. Additionally, we observe instances of code-switching during the transfer training, suggesting that cross-lingual alignment might have been internalized within the model. Similar results are observed from the extension experiments on the 13 low-resource languages. Our analysis and findings offer assistance and guidance to the community in developing non-English LLMs.
이 논문에서는 언어 생성 및 Instruction 준수 기능을 비영어 언어로 효과적으로 전송하는 방법에 초점을 맞추고 있습니다. 특히 어휘 확장의 필요성과 효과적인 전송에 필요한 훈련 규모를 분석하기 위해 포괄적인 실증 연구를 수행했습니다. 그 결과 어휘 확장이 필요하며, 추가 전처리 데이터의 1% 미만으로도 최신 모델과 비슷한 전송 성능을 달성할 수 있다는 사실을 발견했습니다. 또한 전송 훈련 중 코드 전환 사례를 관찰하여 언어 간 정렬이 모델 내부에 내재화되었을 수 있음을 시사합니다. 저자원 언어 13개에 대한 확장 실험에서도 유사한 결과가 관찰되었습니다. 분석 및 연구 결과는 비영어 LLM을 개발하는 커뮤니티에 도움과 지침을 제공합니다.
이 백서에서는 언어 생성 및 지시 사항 준수 기능을 비영어 언어로 효과적으로 전송하는 방법에 초점을 맞추고 있습니다. 특히 어휘 확장의 필요성과 효과적인 전송에 필요한 훈련 규모를 분석하기 위해 포괄적인 실증 연구를 수행했습니다. 그 결과 어휘 확장이 필요하며, 추가 전처리 데이터의 1% 미만으로도 최신 모델과 비슷한 전송 성능을 달성할 수 있다는 사실을 발견했습니다. 또한 전송 훈련 중 코드 전환 사례를 관찰하여 언어 간 정렬이 모델 내부에 내재화되었을 수 있음을 시사합니다. 저자원 언어 13개에 대한 확장 실험에서도 유사한 결과가 관찰되었습니다. 분석 및 연구 결과는 비영어 LLM을 개발하는 커뮤니티에 도움과 지침을 제공합니다.