One-Billion Word benchmark (LM1B)contains 30M sentences of news commentary Chelba et al. (2013). Unlike the other datasets we analyze, LM1B's examples are one sentence long rather than multi-sentence documents. The average example length is 32 BPE tokens. While this dataset is extremely standard for benchmarking language models, Radford et al. (2019, Sec 4) note it has 13.2% overlap of the test set with the train set.
10억 단어 벤치마크(LM1B)에는 3,000만 개의 뉴스 해설 문장이 포함되어 있습니다(Chelba et al., 2013). 분석하는 다른 데이터 세트와 달리 LM1B의 예는 여러 문장으로 구성된 문서가 아닌 한 문장으로 구성되어 있습니다. 평균 예제 길이는 32개의 BPE 토큰입니다. 이 데이터 세트는 language model 벤치마킹에 매우 표준적인 데이터 세트이지만, Radford et al.(2019, Sec 4)에 따르면 테스트 세트의 13.2%가 트레인 세트와 겹치는 것으로 나타났습니다.
10억 단어 벤치마크(LM1B)에는 3,000만 개의 뉴스 해설 문장이 포함되어 있습니다(Chelba et al., 2013). 분석하는 다른 데이터 세트와 달리 LM1B의 예는 여러 문장으로 구성된 문서가 아닌 한 문장으로 구성되어 있습니다. 평균 예제 길이는 32개의 BPE 토큰입니다. 이 데이터 세트는 언어 모델 벤치마킹에 매우 표준적인 데이터 세트이지만, Radford et al.(2019, Sec 4)에 따르면 테스트 세트의 13.2%가 트레인 세트와 겹치는 것으로 나타났습니다.