**Heuristic Rules** We designed heuristic rules to conduct data filtering, which removes data of low quality. These rules represent an integrated framework of filtering strategies, inspired by methodologies derived from several datasets and models, notably RefinedWeb (Penedo et al., 2023) and CC-Net (Wenzek et al., 2020), along with some rules that are applied while training other language models, such as Gopher (Rae et al., 2022) and T5 (Raffel et al., 2020). We also developed a set of rules tailored to address characteristics inherent to our dataset.
**Heuristic Rules** 저희는 데이터 필터링을 수행하기 위해 heuristic 규칙을 설계하여 품질이 낮은 데이터를 제거했습니다. 이러한 규칙은 여러 데이터 세트와 모델, 특히 RefinedWeb(Penedo et al., 2023)과 CC-Net(Wenzek et al., 2020)에서 파생된 방법론과 Gopher(Rae et al., 2022) 및 T5(Raffel et al., 2020)와 같은 다른 language models를 훈련하는 동안 적용되는 일부 규칙에서 영감을 받아 필터링 전략의 통합 프레임워크를 나타냅니다. 또한 데이터 세트에 내재된 특성을 해결하기 위해 맞춤화된 규칙 세트를 개발했습니다.
**휴리스틱 규칙** 저희는 데이터 필터링을 수행하기 위해 휴리스틱 규칙을 설계하여 품질이 낮은 데이터를 제거했습니다. 이러한 규칙은 여러 데이터 세트와 모델, 특히 RefinedWeb(Penedo et al., 2023)과 CC-Net(Wenzek et al., 2020)에서 파생된 방법론과 Gopher(Rae et al., 2022) 및 T5(Raffel et al., 2020)와 같은 다른 언어 모델을 훈련하는 동안 적용되는 일부 규칙에서 영감을 받아 필터링 전략의 통합 프레임워크를 나타냅니다. 또한 데이터 세트에 내재된 특성을 해결하기 위해 맞춤화된 규칙 세트를 개발했습니다.