\(\bullet\)_Specializing the targeted abilities._ The model capacities of LLMs heavily rely on data selection and mixture, and one can boost the proportions of specific data sources to enhance certain model abilities [64, 212]. For example, the mathematical reasoning and coding abilities can be specially enhanced by training with more mathematical texts and code data, respectively. Furthermore, experimental results on the LAMBADA dataset [233] show that increasing the proportion of books data can improve the model capacity in capturing long-term dependencies from text, and increasing the proportion of the C4 dataset [82] leads to performance improvement on the C4 validation dataset [64].
\(\bullet\)_특정 능력을 전문화합니다._ LLM의 모델 용량은 데이터 선택과 혼합에 크게 의존하며, 특정 데이터 소스의 비율을 높여 특정 모델 능력을 향상시킬 수 있습니다[64, 212]. 예를 들어, 수학적 추론 및 코딩 능력은 각각 더 많은 수학 텍스트 및 코드 데이터로 훈련함으로써 특별히 향상될 수 있습니다. 또한, LAMBADA 데이터 세트[233]에 대한 실험 결과에 따르면, 도서 데이터의 비중을 높이면 텍스트에서 장기 종속성을 포착하는 모델 용량이 향상되고, C4 데이터 세트[C4 dataset][82]의 비중을 높이면 C4 유효성 검사 데이터 세트[C4 validation dataset][64]에서 성능이 향상되는 것으로 나타났습니다.
\(\bullet\)_특정 능력을 전문화합니다._ LLM의 모델 용량은 데이터 선택과 혼합에 크게 의존하며, 특정 데이터 소스의 비율을 높여 특정 모델 능력을 향상시킬 수 있습니다[64, 212]. 예를 들어, 수학적 추론 및 코딩 능력은 각각 더 많은 수학 텍스트 및 코드 데이터로 훈련함으로써 특별히 향상될 수 있습니다. 또한, LAMBADA 데이터 세트[233]에 대한 실험 결과에 따르면, 도서 데이터의 비중을 높이면 텍스트에서 장기 종속성을 포착하는 모델 용량이 향상되고, C4 데이터 세트[82]의 비중을 높이면 C4 유효성 검사 데이터 세트[64]에서 성능이 향상되는 것으로 나타났습니다.