Figure 6: **Is re-phrasing same as any augmentation?** We compare perplexity on the Pile for different augmemntation strategies. 350M parameter models are trained for a total of 15B tokens. **WRAP** (Medium + C4) performs significantly better than traditional augmentations.
그림 6: **문구를 바꾸는 것이 어떤 증강과 같은 것일까요?** 다양한 augmentation 전략에 대한 Pile의 perplexity를 비교합니다. 350M 파라미터 모델은 총 15B 토큰에 대해 학습됩니다. **WRAP**(Medium + C4)은 기존의 augmentation보다 훨씬 더 나은 성능을 보입니다.
그림 6: **문구를 바꾸는 것이 어떤 증강과 같은 것일까요?** 다양한 증강 전략에 대한 더미의 당혹감을 비교합니다. 350M 파라미터 모델은 총 15B 토큰에 대해 학습됩니다. **WRAP**(미디엄 + C4)은 기존의 증강보다 훨씬 더 나은 성능을 보입니다.