This paper conducts a comprehensive empirical study of the aforementioned three steps, comparing the performance differences of LLMs before and after vocabulary extension,and under various pretraining and SFT scales. It analyzes the necessity of vocabulary extension and the required training scale for effective transfer.
이 논문에서는 앞서 언급한 세 단계에 대한 포괄적인 실증 연구를 수행하여 어휘 확장 전후의 LLM 성능 차이와 다양한 pretraining 및 Supervised Fine-tuning (SFT) 규모에 따른 성능 차이를 비교합니다. 어휘 확장의 필요성과 효과적인 전이를 위한 필요한 훈련 규모를 분석합니다.
이 백서에서는 앞서 언급한 세 단계에 대한 포괄적인 실증 연구를 수행하여 어휘 확장 전후의 LLM 성능 차이와 다양한 전처리 및 SFT 규모에 따른 성능 차이를 비교합니다. 어휘 확장의 필요성과 효과적인 전이를 위한 필요한 훈련 규모를 분석합니다.