Multiple epochs.Instead of looking for "unique" tokens to make up a trillion-scale pretraining dataset, one could simply repeat data over multiple epochs. Popular models like OPT and NeoX-20B do this for up to 2 epochs, and most curated datasets upsample corpora 2-5 times. However, Hernandez et al. (2022) has recently shown that models with 100B+ parameters may be sensitive to even just a few epochs. Orthogonal to our work lies a line of research exploring tradeoffs in the data-constrained regime: can deduplication help sustain more epochs? Are multiple epochs on higher quality data better than a one epoch on lower quality data? See Appendix E.3 for a more in-depth discussion.
여러 epochs. 조사 기반 데이터 세트를 구성하기 위해 "고유한" 토큰을 찾는 대신 여러 epochs에 걸쳐 데이터를 반복할 수 있습니다. OPT 및 NeoX-20B와 같은 인기 모델은 최대 2회까지 이 작업을 수행하며, 대부분의 큐레이션된 데이터 세트는 코퍼스를 2~5배 upsampling합니다. 그러나 Hernandez 등(2022)은 최근 1000억 개 이상의 파라미터를 가진 모델이 단 몇 번의 epochs에도 민감할 수 있음을 보여주었습니다. 데이터 제약 환경에서 데이터 중복 제거가 더 많은 epochs를 유지하는 데 도움이 될 수 있는지, 더 높은 품질의 데이터에 대한 여러 epochs가 더 낮은 품질의 데이터에 대한 한 번의 epoch보다 더 나은지 등을 탐구하는 연구가 있습니다. 자세한 논의는 부록 E.3을 참조하세요.
여러 에포크.조사 기반 데이터 세트를 구성하기 위해 "고유한" 토큰을 찾는 대신 여러 에포크에 걸쳐 데이터를 반복할 수 있습니다. OPT 및 NeoX-20B와 같은 인기 모델은 최대 2회까지 이 작업을 수행하며, 대부분의 큐레이션된 데이터 세트는 코퍼스를 2~5배 업샘플링합니다. 그러나 Hernandez 등(2022)은 최근 1000억 개 이상의 파라미터를 가진 모델이 단 몇 번의 에포크에도 민감할 수 있음을 보여주었습니다. 데이터 제약 환경에서 데이터 중복 제거가 더 많은 에포크를 유지하는 데 도움이 될 수 있는지, 더 높은 품질의 데이터에 대한 여러 에포크가 더 낮은 품질의 데이터에 대한 한 번의 에포크보다 더 나은지 등을 탐구하는 연구가 있습니다. 자세한 논의는 부록 E.3을 참조하세요.