(2) **Training scales required for effective transfer.** We find that further Chinese pretraining with 100 billion tokens or fewer is insufficient to significantly improve LLaMA's knowledge level. However, enhancing LLaMA's response quality (i.e., language generation capability), requires only hundreds of thousands of instruction data rather than a large-scale further pretraining.
(2) **효과적인 전이에 필요한 훈련 규모.** 1000억 토큰 이하의 추가 중국어 pretraining을 통해서는 LLaMA의 지식 수준을 크게 향상시키기에는 충분하지 않다는 것을 알았습니다. 그러나 LLaMA의 응답 품질(즉, 언어 생성 기능)을 향상시키려면 대규모 추가 pretraining이 아닌 수십만 개의 instruction 데이터만 있으면 됩니다.
(2) **효과적인 전이에 필요한 훈련 규모.** 1000억 토큰 이하의 추가 중국어 전처리를 통해서는 LLaMA의 지식 수준을 크게 향상시키기에는 충분하지 않다는 것을 알았습니다. 그러나 LLaMA의 응답 품질(즉, 언어 생성 기능)을 향상시키려면 대규모 추가 전처리가 아닌 수십만 개의 명령어 데이터만 있으면 됩니다.