We compare the performance of a model trained on a mixture of real and synthetic data with models trained on various splits of real data. In all our experiments, we use the C4 (Raffel et al., 2020) dataset for rephrasing and producing splits of synthetic data. We use the abbreviation 'Real Tok.' to denote the number of tokens of web data available for pre-training. In the 'Synthetic + Real' experiments, we augment the same number of synthetic rephrases. We choose 'Real Tokens' as the metric of comparison because we can potentially rephrase the same document multiple times, implying that the total corpus size is not meaningful, and corpus 'knowledge' is the actual currency of interest.
실제 데이터와 합성 데이터의 혼합물로 학습된 모델의 성능을 실제 데이터의 다양한 분할로 학습된 모델과 비교합니다. 모든 실험에서 우리는 C4 (Raffel et al., 2020) 데이터 세트를 사용하여 합성 데이터의 분할을 생성하고 재구성합니다. 사전 학습에 사용할 수 있는 웹 데이터의 토큰 수를 나타내기 위해 'Real Tok.'이라는 약어를 사용합니다. 'Synthetic + Real' 실험에서는 동일한 수의 합성 문구를 증강합니다. 동일한 문서를 여러 번 바꿀 수 있으므로 총 코퍼스 크기가 의미가 없으며 코퍼스 'knowledge'가 실제 관심 대상이라는 것을 의미하므로 'Real Tokens'을 비교 지표로 선택합니다.
실제 데이터와 합성 데이터의 혼합물로 학습된 모델의 성능을 실제 데이터의 다양한 분할로 학습된 모델과 비교합니다. 모든 실험에서 우리는 C4(Raffel et al., 2020) 데이터 세트를 사용하여 합성 데이터의 분할을 생성하고 재구성합니다. 사전 학습에 사용할 수 있는 웹 데이터의 토큰 수를 나타내기 위해 '실제 토큰'이라는 약어를 사용합니다. '합성 + 실제' 실험에서는 동일한 수의 합성 문구를 증강합니다. 동일한 문서를 여러 번 바꿀 수 있으므로 총 코퍼스 크기가 의미가 없으며 코퍼스 '지식'이 실제 관심 대상이라는 것을 의미하므로 '실제 토큰'을 비교 지표로 선택합니다.