**Models.** We train 1B, 3B, and 7B parameters autoregressive decoder-only models, based on configurations and hyperparameters similar to GPT-3 (Brown et al., 2020), diverging mostly on our use of ALiBi (Press et al., 2021). We use FlashAttention (Dao et al., 2022) in a custom codebase. We train internal models on both The Pile and RefinedWeb to control for deviations caused by our pretraining setup-we found The Pile models to perform in-line with others. For small-scale and ablation studies (first half of Section 4.2; Section 4.3), we train models to optimality according to the scaling laws of Hoffmann et al. (2022): on 27B and 60B tokens respectively for our 1B and 3B parameters models. For the main experiments demonstrating our approach (Falcon-RW models in Section 4.2), we train the models to 350GT, in line with popular public models (Brown et al., 2020; Wang and Komatuszaki, 2021; Scao et al., 2022). Note that we do not compare against the recently introduced LLaMA models (Touvron et al., 2023), as the smallest of them is trained on x2.5 more compute than our largest model, preventing a meaningful comparison from being made dataset-wise. For a more in-depth overview of the models and pretraining datasets with which we compare, see Appendix F.
**모델.** GPT-3(Brown et al., 2020)과 유사한 구성 및 하이퍼파라미터를 기반으로 1B, 3B 및 7B 파라미터 autoregressive decoder-only 모델을 훈련하며, 주로 ALiBi(Press et al., 2021)를 사용하는 것에서 차이가 납니다. 사용자 지정 코드베이스에서 FlashAttention(Dao et al., 2022)을 사용합니다. pretraining setup으로 인한 편차를 제어하기 위해 The Pile과 RefinedWeb 모두에서 내부 모델을 훈련했으며, The Pile 모델이 다른 모델과 동일한 성능을 발휘하는 것으로 나타났습니다. 소규모 및 절제 연구(4.2 절의 전반부, 4.3 절)의 경우, 1B 및 3B 파라미터 모델에 대해 각각 27B 및 60B 토큰에 대해 Hoffmann 등(2022)의 scaling laws에 따라 최적화를 위해 모델을 훈련합니다. 저희 접근 방식을 보여주는 주요 실험(4.2절의 Falcon-RW 모델)의 경우, 인기 있는 공개 모델(Brown et al., 2020; Wang and Komatuszaki, 2021; Scao et al., 2022)에 맞춰 350GT까지 모델을 훈련합니다. 최근에 도입된 LLaMA 모델(Touvron et al., 2023)은 가장 작은 모델이 가장 큰 모델보다 2.5배 더 많은 컴퓨팅으로 훈련되었기 때문에 데이터 세트별로 의미 있는 비교를 방해하므로 비교하지 않았습니다. 모델 및 비교 대상 pretraining 데이터 세트에 대한 자세한 개요는 부록 F를 참조하세요.
**모델.** GPT-3(Brown et al., 2020)과 유사한 구성 및 하이퍼파라미터를 기반으로 1B, 3B 및 7B 파라미터 자동 회귀 디코더 전용 모델을 훈련하며, 주로 ALiBi(Press et al., 2021)를 사용하는 것에서 차이가 납니다. 사용자 지정 코드베이스에서 FlashAttention(Dao et al., 2022)을 사용합니다. 트레일링 스택업으로 인한 편차를 제어하기 위해 더 파일과 RefinedWeb 모두에서 내부 모델을 훈련했으며, 더 파일 모델이 다른 모델과 동일한 성능을 발휘하는 것으로 나타났습니다. 소규모 및 절제 연구(4.2 절의 전반부, 4.3 절)의 경우, 1B 및 3B 파라미터 모델에 대해 각각 27B 및 60B 토큰에 대해 Hoffmann 등(2022)의 스케일링 법칙에 따라 최적화를 위해 모델을 훈련합니다. 저희 접근 방식을 보여주는 주요 실험(4.2절의 Falcon-RW 모델)의 경우, 인기 있는 공개 모델(Brown et al., 2020; Wang and Komatuszaki, 2021; Scao et al., 2022)에 맞춰 350GT까지 모델을 훈련합니다. 최근에 도입된 LLaMA 모델(Touvron et al., 2023)은 가장 작은 모델이 가장 큰 모델보다 2.5배 더 많은 컴퓨팅으로 훈련되었기 때문에 데이터 세트별로 의미 있는 비교를 방해하므로 비교하지 않았습니다. 모델 및 비교 대상 전처리 데이터 세트에 대한 자세한 개요는 부록 F를 참조하세요.