Overall we find OLMo to have a competitive fit, especially given its training data was explicitly decontaminated against Paloma. As seen through the comparison of final models (see shapes) as well intermediate checkpoints (see dashed lines), the OLMo results follow similar scaling trends of other models. Note that the performance of intermediate checkpoints is influenced by where that checkpoint occurs in the learning rate schedule. So models trained for fewer steps will tend to have steeper training curves without necessarily being more sample efficient if training duration were fixed across all models. MPT-7B, nevertheless, stands out as improving ahead of the other models in this subplot. This could be due to a number of factors, including pretraining data composition and its match to the domains in Paloma (e.g., MPT trains on 27% non-Common Crawl data rather than 18% for LLAMA, 12.2% for RedPajama, and 11.2% for OLMo) as well as various data preprocessing decisions (e.g., MPT's use of semantic deduplication by Abbas et al., 2023, on C4).
전반적으로 OLMo는 특히 훈련 데이터가 Paloma에 대해 명시적으로 소독되었다는 점을 고려할 때 경쟁력 있는 성능을 제공하는 것으로 판단됩니다. 최종 모델(모양 참조)과 중간 체크포인트(점선 참조)의 비교에서 볼 수 있듯이, OLMo 결과는 다른 모델과 비슷한 scaling 추세를 따릅니다. 중간 체크포인트의 성능은 Learning Rate 일정에서 해당 체크포인트가 발생하는 시점에 영향을 받습니다. 따라서 모든 모델에서 훈련 기간이 고정되어 있다면 훈련 단계가 적은 모델은 반드시 샘플 효율이 높아지는 것이 아니라 훈련 곡선이 더 가파르게 늘어나는 경향이 있습니다. 그럼에도 불구하고 MPT-7B는 이 하위 플롯에서 다른 모델보다 앞서 개선된 것으로 눈에 띕니다. 이는 사전 학습 데이터 구성과 Paloma의 도메인과의 일치(예: MPT는 LLAMA의 경우 18%, RedPajama의 경우 12.2%, OLMo의 경우 11.2%가 아닌 27%의 비커먼 크롤링 데이터에 대해 학습) 및 다양한 데이터 전처리 결정(예: MPT의 C4에 대한 Abbas 등(2023)의 의미론적 중복 제거 사용) 등 여러 가지 요인 때문일 수 있습니다.
전반적으로 OLMo는 특히 훈련 데이터가 팔로마에 대해 명시적으로 소독되었다는 점을 고려할 때 경쟁력 있는 성능을 제공하는 것으로 판단됩니다. 최종 모델(모양 참조)과 중간 체크포인트(점선 참조)의 비교에서 볼 수 있듯이, OLMo 결과는 다른 모델과 비슷한 확장 추세를 따릅니다. 중간 체크포인트의 성능은 학습 속도 일정에서 해당 체크포인트가 발생하는 시점에 영향을 받습니다. 따라서 모든 모델에서 훈련 기간이 고정되어 있다면 훈련 단계가 적은 모델은 반드시 샘플 효율이 높아지는 것이 아니라 훈련 곡선이 더 가파르게 늘어나는 경향이 있습니다. 그럼에도 불구하고 MPT-7B는 이 하위 플롯에서 다른 모델보다 앞서 개선된 것으로 눈에 띕니다. 이는 사전 학습 데이터 구성과 팔로마의 도메인과의 일치(예: MPT는 LLAMA의 경우 18%, RedPajama의 경우 12.2%, OLMo의 경우 11.2%가 아닌 27%의 비커먼 크롤링 데이터에 대해 학습) 및 다양한 데이터 전처리 결정(예: MPT의 C4에 대한 Abbas 등(2023)의 의미론적 중복 제거 사용) 등 여러 가지 요인 때문일 수 있습니다.