We aim not just to compare OLMo-7B against other models for best performance, but also to demonstrate how it enables fuller and more controlled scientific evaluations. OLMo-7B is the largest LM with explicit decontamination for perplexity evaluation. Following the approach described in Paloma, we remove any pretraining document with paragraphs leaked from Paloma evaluation data. Without decontamination, other models risk underestimating perplexity (i.e., overestimating the model's out-of-sample fit). We also release intermediate checkpoints, allowing richer comparisons with two other models that release checkpoints, Pythia-6.9B (Biderman et al., 2023) and RPJ-INCITE-7B (Together Computer, 2023) (see Figure 2).
우리는 단순히 최상의 성능을 위해 다른 모델과 OLMo-7B를 비교하는 것을 목표로 하지 않고, OLMo-7B가 어떻게 보다 완전하고 통제된 과학적 평가를 가능하게 하는지 보여주고자 합니다. OLMo-7B는 Perplexity 평가를 위해 명시적으로 제염 처리된 가장 큰 LM입니다. Paloma에 설명된 접근 방식에 따라 Paloma 평가 데이터에서 유출된 단락이 있는 사전 학습 문서를 제거합니다. 제염 처리하지 않으면 다른 모델이 Perplexity(즉, 모델의 표본 외 적합도를 과대평가)를 과소평가할 위험이 있습니다. 또한 중간 체크포인트를 공개하여 체크포인트를 공개하는 다른 두 모델인 Pythia-6.9B(Biderman et al., 2023) 및 RPJ-INCITE-7B(Together Computer, 2023)와 더욱 풍부한 비교가 가능하도록 합니다(그림 2 참조).
우리는 단순히 최상의 성능을 위해 다른 모델과 OLMo-7B를 비교하는 것을 목표로 하지 않고, OLMo-7B가 어떻게 보다 완전하고 통제된 과학적 평가를 가능하게 하는지 보여주고자 합니다. OLMo-7B는 당황스러움 평가를 위해 명시적으로 제염 처리된 가장 큰 LM입니다. 팔로마에 설명된 접근 방식에 따라 팔로마 평가 데이터에서 유출된 단락이 있는 사전 학습 문서를 제거합니다. 제염 처리하지 않으면 다른 모델이 당황스러움(즉, 모델의 표본 외 적합도를 과대평가)을 과소평가할 위험이 있습니다. 또한 중간 체크포인트를 공개하여 체크포인트를 공개하는 다른 두 모델인 Pythia-6.9B(Biderman et al., 2023) 및 RPJ-INCITE-7B(Together Computer, 2023)와 더욱 풍부한 비교가 가능하도록 합니다(그림 2 참조).