Table 2 showcases the results of the repetition analysis experiment. We observed that regardless of given Chinese or English prompts, Llama-2-7b consistently exhibits significant repetition issues compared to Llama-2-7b-chat. Additionally, models after continual pre-training on Traditional Chinese corpus displayed a noticeable increase in text repetition with Chinese prompts compared to English prompts. Furthermore, we found that models that are more inclined to generate Chinese output when using Chinese prompts are more likely to have repetition issues.
표 2는 반복 분석 실험의 결과를 보여줍니다. 주어진 중국어 또는 영어 프롬프트에 관계없이 Llama-2-7b는 Llama-2-7b-chat에 비해 일관되게 상당한 반복 문제를 보이는 것으로 관찰되었습니다. 또한 중국어 말투 코퍼스에 대한 지속적인 pre-training을 거친 모델은 영어 프롬프트에 비해 중국어 프롬프트에서 텍스트 반복이 눈에 띄게 증가하는 것으로 나타났습니다. 또한 중국어 프롬프트를 사용할 때 중국어 출력을 생성하는 경향이 있는 모델일수록 반복 문제가 발생할 가능성이 높다는 것을 발견했습니다.
표 2는 반복 분석 실험의 결과를 보여줍니다. 주어진 중국어 또는 영어 프롬프트에 관계없이 Llama-2-7b는 Llama-2-7b-chat에 비해 일관되게 상당한 반복 문제를 보이는 것으로 관찰되었습니다. 또한 중국어 말투 코퍼스에 대한 지속적인 사전 학습을 거친 모델은 영어 프롬프트에 비해 중국어 프롬프트에서 텍스트 반복이 눈에 띄게 증가하는 것으로 나타났습니다. 또한 중국어 프롬프트를 사용할 때 중국어 출력을 생성하는 경향이 있는 모델일수록 반복 문제가 발생할 가능성이 높다는 것을 발견했습니다.