The remaining subplots in Figure 2 provide more fine-grained analysis by reporting bits per byte separately for each of the 11 data sources that are combined in the aggregated Paloma metric. From this we see greater variation in sample efficiency, largely driven by the similarity of training and evaluation distributions. Notably, OLMo-7B fares well on evaluations predominated by Common Crawl, such as C4, though different ways of postprocessing Common Crawl are best fit by models trained with that specific data, such as Falcon-7B on Falcon RefinedWeb. Meanwhile, OLMo-7B is less sample efficient compared to other models on sources less related to scraped web text, such as WikiText-103, M2D2 S2ORC, and M2D2 Wikipedia. The RedPajama evaluation shows a similar pattern, perhaps as only 2 of its 7 domains are from Common Crawl, and Paloma weights domains within each source equally. Since heterogeneous data from curated sources like Wikipedia and ArXiv papers is much less abundant than scraped web text, maintaining sample efficiency for fit to these distributions of language will be challenging as pretraining corpora are scaled.
그림 2의 나머지 하위 플롯은 집계된 Paloma metric에 결합된 11개의 데이터 소스 각각에 대해 바이트당 비트를 별도로 보고함으로써 보다 세분화된 분석을 제공합니다. 이를 통해 샘플 효율성에 큰 변화가 있으며, 이는 주로 학습 및 평가 분포의 유사성에 의해 주도됩니다. 특히, OLMo-7B는 C4와 같이 Common Crawl이 주를 이루는 평가에서 좋은 성능을 보이지만, Common Crawl을 후처리하는 다른 방식은 Falcon RefinedWeb의 Falcon-7B와 같이 특정 데이터로 학습된 모델에 가장 적합합니다. 한편, OLMo-7B는 WikiText-103, M2D2 S2ORC, M2D2 Wikipedia 등 스크랩된 웹 텍스트와 관련이 낮은 소스에서 다른 모델에 비해 샘플 효율성이 떨어집니다. RedPajama 평가는 7개 도메인 중 2개만 Common Crawl에서 가져온 것이고, Paloma는 각 소스 내의 도메인을 동일하게 가중치를 부여하기 때문에 비슷한 패턴을 보여줍니다. Wikipedia나 ArXiv 논문과 같은 큐레이션된 소스의 이기종 데이터는 스크랩된 웹 텍스트보다 훨씬 풍부하지 않기 때문에, 사전 학습 코퍼스의 규모가 확장됨에 따라 이러한 언어 분포에 맞게 샘플 효율성을 유지하는 것은 어려울 것입니다.
그림 2의 나머지 하위 플롯은 집계된 팔로마 메트릭에 결합된 11개의 데이터 소스 각각에 대해 바이트당 비트를 별도로 보고함으로써 보다 세분화된 분석을 제공합니다. 이를 통해 샘플 효율성에 큰 변화가 있으며, 이는 주로 학습 및 평가 분포의 유사성에 의해 주도됩니다. 특히, OLMo-7B는 C4와 같이 Common Crawl이 주를 이루는 평가에서 좋은 성능을 보이지만, Common Crawl을 후처리하는 다른 방식은 Falcon RefinedWeb의 Falcon-7B와 같이 특정 데이터로 학습된 모델에 가장 적합합니다. 한편, OLMo-7B는 위키텍스트-103, M2D2 S2ORC, M2D2 위키피디아 등 스크랩된 웹 텍스트와 관련이 낮은 소스에서 다른 모델에 비해 샘플 효율성이 떨어집니다. 레드파자마 평가는 7개 도메인 중 2개만 커먼 크롤링에서 가져온 것이고, 팔로마는 각 소스 내의 도메인을 동일하게 가중치를 부여하기 때문에 비슷한 패턴을 보여줍니다. 위키피디아나 아카이브 논문과 같은 큐레이션된 소스의 이기종 데이터는 스크랩된 웹 텍스트보다 훨씬 풍부하지 않기 때문에, 사전 학습 코퍼스의 규모가 확장됨에 따라 이러한 언어 분포에 맞게 샘플 효율성을 유지하는 것은 어려울 것입니다.