For all experiments, we used a Byte Pair Encoding (BPE) vocabulary trained on C4-NearDup with a budget of 50K tokens, which resulted in a vocabulary the same size as GPT-2's. We trained with a maximum sequence length of 512 tokens (for longer documents, we randomly extracted subsequences of this length.) Further training details can be found in Appendix C.
모든 실험에 대해 50K 토큰의 예산으로 C4-NearDup에 대해 학습된 Byte Pair Encoding (BPE) 어휘를 사용했으며, 그 결과 GPT-2와 같은 크기의 어휘가 생성되었습니다. 최대 시퀀스 길이를 512 토큰으로 학습했습니다(더 긴 문서의 경우 이 길이의 시퀀스를 무작위로 추출했습니다). 추가 학습 세부 사항은 부록 C에서 확인할 수 있습니다.
모든 실험에 대해 50K 토큰의 예산으로 C4-NearDup에 대해 학습된 바이트 쌍 인코딩(BPE) 어휘를 사용했으며, 그 결과 GPT-2와 같은 크기의 어휘가 생성되었습니다. 최대 시퀀스 길이를 512 토큰으로 학습했습니다(더 긴 문서의 경우 이 길이의 시퀀스를 무작위로 추출했습니다). 추가 학습 세부 사항은 부록 C에서 확인할 수 있습니다.