C4 in Figure 12, and even lower than 1.3B models trained only on C4 in Figure 1c. We also show an increase of 1.5% across general understanding language tasks, and roughly 3% on specialized knowledge tasks in Tables 8-9 when adding QA rephrases. We also experimented with medium rephrases at this smaller scale. Our findings indicate that the high quality provided by medium rephrases improves performance over only C4, however matching the style as indicated by QA rephrase performance further improves performance.
그림 12의 C4, 그림 1c의 C4로만 학습된 1.3B 모델보다 낮습니다. 또한 일반적인 이해 언어 작업에서는 1.5%, QA rephrases를 추가할 때는 표 8-9의 전문 지식 작업에서는 약 3%의 증가를 보였습니다. 또한 이 작은 규모에서 medium rephrases를 실험했습니다. 연구 결과, medium rephrases가 제공하는 높은 품질이 C4만 사용할 때보다 성능을 향상시키지만, QA rephrase 성능에서 나타나는 스타일과 일치하면 성능이 더욱 향상된다는 것을 알 수 있었습니다.
그림 12의 C4, 그림 1c의 C4로만 학습된 1.3B 모델보다 낮습니다. 또한 일반적인 이해 언어 작업에서는 1.5%, QA 리프레이즈를 추가할 때는 표 8-9의 전문 지식 작업에서는 약 3%의 증가를 보였습니다. 또한 이 작은 규모에서 중간 리프레이즈를 실험했습니다. 연구 결과, 중간 리프레이즈가 제공하는 높은 품질이 C4만 사용할 때보다 성능을 향상시키지만, QA 리프레이즈 성능에서 나타나는 스타일과 일치하면 성능이 더욱 향상된다는 것을 알 수 있었습니다.