. We trained 1.5B parameter "XL", decoder-only, Transformer-based language models similar to GPT-2, on C4-Original, C4-NearDup, and C4-ExactSubstr, respectively. We use the T5 codebase and model architecture from Raffel et al. (2020), and each model was trained for about two epochs on its respective dataset. To better understand the amount of variance in the perplexities of trained models, we also trained three different random seeds of the 110M parameter "base" model for each of the above three datasets--for a total of nine base-sized models.
C4-Original, C4-NearDup 및 C4-ExactSubstr에서 각각 GPT-2와 유사한 decoder-only, Transformer 기반 1.5B 파라미터 "XL" 언어 모델을 훈련했습니다. Raffel et al.의 T5 codebase와 model architecture를 사용합니다. (2020)의 T5 codebase와 model architecture를 사용했으며, 각 모델은 각 데이터 세트에서 약 2회에 걸쳐 학습되었습니다. 학습된 모델의 perplexity의 분산 정도를 더 잘 이해하기 위해 위의 세 가지 데이터 세트 각각에 대해 1억 1,000만 파라미터의 "base" 모델의 세 가지 다른 랜덤 시드를 학습시켰으며, 총 9개의 base 크기 모델을 학습시켰습니다.
. C4-Original, C4-NearDup 및 C4-ExactSubstr에서 각각 GPT-2와 유사한 디코더 전용, 트랜스포머 기반 1.5B 파라미터 "XL" 언어 모델을 훈련했습니다. Raffel et al.의 T5 코드베이스와 모델 아키텍처를 사용합니다. (2020)의 T5 코드베이스와 모델 아키텍처를 사용했으며, 각 모델은 각 데이터 세트에서 약 2회에 걸쳐 학습되었습니다. 학습된 모델의 당혹감의 분산 정도를 더 잘 이해하기 위해 위의 세 가지 데이터 세트 각각에 대해 1억 1,000만 파라미터의 "베이스" 모델의 세 가지 다른 랜덤 시드를 학습시켰으며, 총 9개의 베이스 크기 모델을 학습시켰습니다.