We provide an overview of some widely adopted existing pretraining English datasets for LLMs in Table 1, with additional information in Table 12 of Appendix F.3. We also note that recent popular open models (Zhang et al., 2022; Touvron et al., 2023) often indirectly leverage The Pile (Gao et al., 2020) by doing a mix-and-match of its components.
표 1에 LLMs에 널리 채택된 기존 pretraining 영어 데이터 세트에 대한 개요를 제공하며, 추가 정보는 부록 F.3의 표 12에 나와 있습니다. 또한 최근 인기 있는 오픈 모델(Zhang et al., 2022; Touvron et al., 2023)은 종종 The Pile(Gao et al., 2020)의 구성 요소를 혼합하여 간접적으로 활용하는 경우가 많습니다.
표 1에 LLM에 널리 채택된 기존 사전 학습 영어 데이터 세트에 대한 개요를 제공하며, 추가 정보는 부록 F.3의 표 12에 나와 있습니다. 또한 최근 인기 있는 오픈 모델(Zhang et al., 2022; Touvron et al., 2023)은 종종 더 파일(Gao et al., 2020)의 구성 요소를 혼합하여 간접적으로 활용하는 경우가 많습니다.