Figure 2: Bits per byte on 11 evaluation data sources from Paloma and their combination (Magnusson et al., 2023), decontaminated from OLMo’s pretraining data. While models follow a general data scaling trend, sample efficiency is most favorable on in-distribution data. For example, OLMo-7B overtakes all other models on C4, perhaps from having 88.8% Common Crawl pretraining data.
그림 2: Paloma의 11개 평가 데이터 소스와 그 조합(Magnusson et al., 2023)에서 바이트당 비트 수, OLMo의 pretraining 데이터에서 제거된 데이터. 모델은 일반적인 데이터 scaling 추세를 따르지만, sample efficiency는 in-distribution 데이터에서 가장 유리합니다. 예를 들어, OLMo-7B는 C4에서 다른 모든 모델을 추월하는데, 이는 88.8%의 Common Crawl pretraining 데이터를 사용했기 때문일 수 있습니다.
그림 2: 팔로마의 11개 평가 데이터 소스와 그 조합(Magnusson et al., 2023)에서 바이트당 비트 수, OLMo의 사전 학습 데이터에서 제거된 데이터. 모델은 일반적인 데이터 스케일링 추세를 따르지만, 샘플 효율성은 인분포 데이터에서 가장 유리합니다. 예를 들어, OLMo-7B는 C4에서 다른 모든 모델을 추월하는데, 이는 88.8%의 커먼 크롤링 사전 학습 데이터를 사용했기 때문일 수 있습니다.