We additionally train 1.3B GPT-2-XL models at 150B tokens, reducing the number of steps by half. We show Pile perplexity averaged across the 20 domains is much lower than for that of the model trained only on C4 in Figure 13, and even lower than 1.3B models trained only on C4 in Figure 1c for twice as long. We also show an increase of 2% across specialized knowledge tasks, and roughly 2.5% on general understanding tasks in Tables 10-11 when adding QA rephrases. We also experimented with medium rephrases at this smaller scale, and report similar findings consistent with other small-scale experiments.
또한 150B tokens에서 1.3B GPT-2-XL 모델을 추가로 학습시켜 단계 수를 절반으로 줄였습니다. 그림 13에서 20개의 도메인에 걸쳐 평균화된 Pile perplexity가 C4에서만 학습된 모델보다 훨씬 낮으며, 그림 1c에서 1.3B 모델이 두 배 더 오래 C4에서만 학습된 것보다 훨씬 낮다는 것을 보여줍니다. 또한 QA의 rephrases를 추가할 때 표 10-11에서 전문 지식 작업에서 2% 증가하고 일반 이해 작업에서 약 2.5% 증가하는 것을 보여줍니다. 또한 이 작은 규모에서 중간 rephrases를 실험하여 다른 소규모 실험과 유사한 결과를 보고합니다.
또한 150B 토큰에서 1.3B GPT-2-XL 모델을 추가로 학습시켜 단계 수를 절반으로 줄였습니다. 그림 13에서 20개의 도메인에 걸쳐 평균화된 Pile 난해도가 C4에서만 학습된 모델보다 훨씬 낮으며, 그림 1c에서 1.3B 모델이 두 배 더 오래 C4에서만 학습된 것보다 훨씬 낮다는 것을 보여줍니다. 또한 QA의 리프레이즈를 추가할 때 표 10-11에서 전문 지식 작업에서 2% 증가하고 일반 이해 작업에서 약 2.5% 증가하는 것을 보여줍니다. 또한 이 작은 규모에서 중간 리프레이즈를 실험하여 다른 소규모 실험과 유사한 결과를 보고합니다.