We conduct pre-training on Llama-2-7b-chat, a model comprising approximately 7 billion parameters that have undergone sequential alignment operations, including SFT and RLHF. Our pre-training process utilizes the 1 billion tokens of Traditional Chinese data. We denote the model after continual pre-training as Llama-2-7b-chat-cp. We employ specific prompts to observe the differences between the outputs generated by the two models.
SFT 및 RLHF를 포함한 순차적 정렬 작업을 거친 약 70억 개의 파라미터로 구성된 모델인 Llama-2-7b-chat에 대한 pre-training을 수행합니다. pre-training 프로세스는 10억 토큰의 Traditional Chinese 데이터를 활용합니다. 지속적인 pre-training 후 모델을 Llama-2-7b-chat-cp라고 표시합니다. 특정 prompts를 사용하여 두 모델에서 생성된 출력 간의 차이를 관찰합니다.
SFT 및 RLHF를 포함한 순차적 정렬 작업을 거친 약 70억 개의 파라미터로 구성된 모델인 Llama-2-7b-chat에 대한 사전 학습을 수행합니다. 사전 학습 프로세스는 10억 토큰의 중국어 데이터를 활용합니다. 지속적인 사전 학습 후 모델을 Llama-2-7b-chat-cp라고 표시합니다. 특정 프롬프트를 사용하여 두 모델에서 생성된 출력 간의 차이를 관찰합니다.