Furthermore, we conduct perplexity assessments for Open Chinese LLaMA and find that both the Chinese and English perplexities remain low. This outcome is unsurprising, given that its training data incorporates both Chinese and English content, allowing for the decreases of Chinese perplexity without significant elevation in English perplexity. Overall, exclusive reliance on Chinese corpora for transfer training markedly compromises LLaMA's original English proficiency, a concern alleviated effectively through multilingual joint training.
또한 Open Chinese LLaMA에 대한 perplexity 평가를 수행한 결과, 중국어와 영어 모두의 perplexity가 낮게 유지되는 것으로 나타났습니다. 이 결과는 중국어와 영어 콘텐츠가 모두 포함된 학습 데이터를 사용했기 때문에 영어 perplexity가 크게 상승하지 않으면서 중국어 perplexity를 낮출 수 있었기 때문에 놀라운 결과가 아닙니다. 전반적으로, 전이 학습을 위해 중국어 말뭉치에만 의존하면 LLaMA의 원래 영어 능력이 현저히 저하되는데, 이는 다국어 공동 학습을 통해 효과적으로 완화할 수 있습니다.
또한 Open Chinese LLaMA에 대한 당혹감 평가를 수행한 결과, 중국어와 영어 모두의 당혹감이 낮게 유지되는 것으로 나타났습니다. 이 결과는 중국어와 영어 콘텐츠가 모두 포함된 학습 데이터를 사용했기 때문에 영어 당혹감이 크게 상승하지 않으면서 중국어 당혹감을 낮출 수 있었기 때문에 놀라운 결과가 아닙니다. 전반적으로, 전이 학습을 위해 중국어 말뭉치에만 의존하면 LLaMA의 원래 영어 능력이 현저히 저하되는데, 이는 다국어 공동 학습을 통해 효과적으로 완화할 수 있습니다.