To avoid unnecessary large-scale repetitive pretraining, we employed open-source models trained on varying scales of Chinese corpora. Among these, LLaMA and LLaMA2 serve as checkpoints without undergoing explicit Chinese pretraining, whereas Chinese LLaMA and Chinese LLaMA2 are treated as checkpoints with Chinese pretraining of 30 billion tokens. The scale reaches 100 billion tokens for Open Chinese LLaMA. We employ the performance of these models as references for analysis and comparison.
불필요한 대규모 반복 pretraining을 피하기 위해 다양한 규모의 중국어 말뭉치에 대해 학습된 오픈 소스 모델을 사용했습니다. 이 중 LLaMA와 LLaMA2는 명시적인 중국어 pretraining을 거치지 않은 체크포인트 역할을 하며, Chinese LLaMA와 Chinese LLaMA2는 300억 토큰의 중국어 pretraining을 거친 체크포인트로 취급됩니다. Open Chinese LLaMA의 경우 1,000억 토큰에 달합니다. 이러한 모델의 성능을 분석 및 비교를 위한 기준으로 사용합니다.
불필요한 대규모 반복 학습을 피하기 위해 다양한 규모의 중국어 말뭉치에 대해 학습된 오픈 소스 모델을 사용했습니다. 이 중 LLaMA와 LLaMA2는 명시적인 중국어 전처리를 거치지 않은 체크포인트 역할을 하며, 중국어 LLaMA와 중국어 LLaMA2는 300억 토큰의 중국어 전처리를 거친 체크포인트로 취급됩니다. Open Chinese LLaMA의 경우 1,000억 토큰에 달합니다. 이러한 모델의 성능을 분석 및 비교를 위한 기준으로 사용합니다.