Intrinsic Language Modeling EvaluationTo measure how OLMo-7B fits distributions of language beyond held-out training data, we use Paloma (Magnusson et al., 2023), a new perplexity benchmark that includes 585 different domains of text. Domains range from nytimes.com to r/depression on Reddit and are drawn from 18 separate data sources, such as C4 (Raffel et al., 2020), in stratified samples. This allows for more equal inclusion of text domains that are under-represented in their source corpora.
내재 언어 모델링 평가OLMo-7B가 보류된 훈련 데이터를 넘어 언어의 분포에 어떻게 적합한지 측정하기 위해 585개의 다양한 텍스트 도메인을 포함하는 새로운 Perplexity 벤치마크인 Paloma(Magnusson et al., 2023)를 사용합니다. 도메인은 nytimes.com부터 Reddit의 r/depression에 이르기까지 다양하며, C4(Raffel et al., 2020)와 같은 18개의 별도 데이터 소스에서 계층화된 샘플로 추출됩니다. 이를 통해 소스 말뭉치에서 대표성이 부족한 텍스트 도메인을 보다 균등하게 포함할 수 있습니다.
내재 언어 모델링 평가OLMo-7B가 보류된 훈련 데이터를 넘어 언어의 분포에 어떻게 적합한지 측정하기 위해 585개의 다양한 텍스트 도메인을 포함하는 새로운 난해성 벤치마크인 팔로마(Magnusson et al., 2023)를 사용합니다. 도메인은 nytimes.com부터 Reddit의 r/depression에 이르기까지 다양하며, C4(Raffel et al., 2020)와 같은 18개의 별도 데이터 소스에서 계층화된 샘플로 추출됩니다. 이를 통해 소스 말뭉치에서 대표성이 부족한 텍스트 도메인을 보다 균등하게 포함할 수 있습니다.