\(\bullet\)_Increasing the diversity of data sources._ Recent studies have empirically shown that training on excessive data about a certain domain would degrade the generalization capability of LLMs on other domains [35, 64]. In contrast, increasing the data source heterogeneity (_e.g.,_ including diverse data sources) is critical for improving the downstream performance of LLMs [229, 230, 212]. To further examine the effect of different data sources, some studies have conducted ablation experiments by removing each data source one by one, and pre-train LLMs with specially curated datasets [212]. It has been shown that dropping data sources with high heterogeneity (_e.g.,_ webpages) impacts LLM's abilities more severely than dropping sources with low heterogeneity (_e.g.,_ academic corpus).
\(\bullet\)_데이터 소스의 다양성 증가._ 최근 연구에 따르면 특정 도메인에 대한 과도한 데이터로 학습하면 다른 도메인에 대한 LLMs의 일반화 기능이 저하되는 것으로 나타났습니다[35, 64]. 반면, 데이터 소스의 이질성(_e.g.,_ 다양한 데이터 소스 포함)을 높이는 것은 LLMs의 다운스트림 성능을 개선하는 데 매우 중요합니다[229, 230, 212]. 다양한 데이터 소스의 효과를 더 자세히 조사하기 위해 일부 연구에서는 각 데이터 소스를 하나씩 제거하여 특별히 큐레이션된 데이터 세트로 LLMs을 사전 학습하는 제거 실험을 수행했습니다[212]. 이질성이 높은 데이터 소스(_e.g.,_ 웹 페이지)를 삭제하는 것이 이질성이 낮은 데이터 소스(_e.g.,_ 학술 코퍼스)를 삭제하는 것보다 LLMs의 능력에 더 심각한 영향을 미치는 것으로 나타났습니다.
\(\bullet\)_데이터 소스의 다양성 증가._ 최근 연구에 따르면 특정 도메인에 대한 과도한 데이터로 학습하면 다른 도메인에 대한 LLM의 일반화 기능이 저하되는 것으로 나타났습니다[35, 64]. 반면, 데이터 소스의 이질성(예: 다양한 데이터 소스 포함)을 높이는 것은 LLM의 다운스트림 성능을 개선하는 데 매우 중요합니다[229, 230, 212]. 다양한 데이터 소스의 효과를 더 자세히 조사하기 위해 일부 연구에서는 각 데이터 소스를 하나씩 제거하여 특별히 큐레이션된 데이터 세트로 LLM을 사전 학습하는 제거 실험을 수행했습니다[212]. 이질성이 높은 데이터 소스(예: 웹 페이지)를 삭제하는 것이 이질성이 낮은 데이터 소스(예: 학술 코퍼스)를 삭제하는 것보다 LLM의 능력에 더 심각한 영향을 미치는 것으로 나타났습니다.