Scaling up model parameters and dataset size has consistently elevated the next-token prediction accuracy in large language models, yielding significant advancements in artificial intelligence (Kaplan et al., 2020; Brown et al., 2020; OpenAI, 2023; Team et al., 2023). However, training on all available data is not always optimal or feasible. As a result, the practice of data filtering has become crucial, using various heuristics and classifiers (Brown et al., 2020; Wenzek et al., 2019) to select training documents. These techniques significantly improve data quality and boost model performance.
모델 파라미터와 데이터 세트 크기를 확장하면 Large Language Models (LLMs)에서 다음 토큰 예측 정확도가 지속적으로 높아져 인공 지능이 크게 발전했습니다(Kaplan et al., 2020; Brown et al., 2020; OpenAI, 2023; Team et al., 2023). 그러나 사용 가능한 모든 데이터로 학습하는 것이 항상 최적이거나 실현 가능한 것은 아닙니다. 따라서 다양한 heuristics과 classifiers를 사용하여 학습 문서를 선택하는 데이터 필터링 관행이 중요해졌습니다(Brown et al., 2020; Wenzek et al., 2019). 이러한 기술은 데이터 품질을 크게 개선하고 모델 성능을 향상시킵니다.
모델 파라미터와 데이터 세트 크기를 확장하면 대규모 언어 모델에서 다음 토큰 예측 정확도가 지속적으로 높아져 인공 지능이 크게 발전했습니다(Kaplan et al., 2020; Brown et al., 2020; OpenAI, 2023; Team et al., 2023). 그러나 사용 가능한 모든 데이터로 학습하는 것이 항상 최적이거나 실현 가능한 것은 아닙니다. 따라서 다양한 휴리스틱과 분류기를 사용하여 학습 문서를 선택하는 데이터 필터링 관행이 중요해졌습니다(Brown et al., 2020; Wenzek et al., 2019). 이러한 기술은 데이터 품질을 크게 개선하고 모델 성능을 향상시킵니다.