Another issue of interest to us is whether the improvement in Chinese proficiency has an impact on the existing English capabilities. To address this question, we additionally collected 200,000 Chinese samples from the internet and randomly extracted 200,000 English samples from the refinedweb dataset [20]. Utilizing these samples, we evaluate the English perplexity and Chinese perplexity of LLaMA models trained on different-scale corpora, as depicted in table 2. Our findings reveal that with the increase in further pretraining scale, the perplexity of the models decreases steadily in Chinese, yet notably increases in English. This suggests that enhancing the model's capabilities solely through a single Chinese corpus comes at the cost of sacrificing the original English proficiency.
우리가 관심을 기울인 또 다른 문제는 중국어 능력의 향상이 기존 영어 능력에 영향을 미치는지 여부입니다. 이 질문을 해결하기 위해 인터넷에서 200,000개의 중국어 샘플을 추가로 수집하고 refinedweb 데이터 세트[20]에서 200,000개의 영어 샘플을 무작위로 추출했습니다. 이러한 샘플을 활용하여 표 2와 같이 다양한 규모의 말뭉치로 학습된 LLaMA 모델의 영어 Perplexity와 중국어 Perplexity를 평가했습니다. 그 결과, 추가 전처리 규모가 증가함에 따라 모델의 Perplexity는 중국어에서는 꾸준히 감소하지만 영어에서는 눈에 띄게 증가한다는 사실을 발견했습니다. 이는 단일 중국어 말뭉치를 통해서만 모델의 기능을 향상시키는 것은 원래의 영어 실력을 희생하는 대가를 치르게 된다는 것을 시사합니다.
우리가 관심을 기울인 또 다른 문제는 중국어 능력의 향상이 기존 영어 능력에 영향을 미치는지 여부입니다. 이 질문을 해결하기 위해 인터넷에서 200,000개의 중국어 샘플을 추가로 수집하고 정제 웹 데이터 세트[20]에서 200,000개의 영어 샘플을 무작위로 추출했습니다. 이러한 샘플을 활용하여 표 2와 같이 다양한 규모의 말뭉치로 학습된 LLaMA 모델의 영어 당혹감과 중국어 당혹감을 평가했습니다. 그 결과, 추가 전처리 규모가 증가함에 따라 모델의 당혹감은 중국어에서는 꾸준히 감소하지만 영어에서는 눈에 띄게 증가한다는 사실을 발견했습니다. 이는 단일 중국어 말뭉치를 통해서만 모델의 기능을 향상시키는 것은 원래의 영어 실력을 희생하는 대가를 치르게 된다는 것을 시사합니다.