**Discussion on Effect of Data Quality.** For pre-training, the quality of pre-training data is vital to the model capacities of LLMs. Existing work has shown that pre-training on the low-quality corpus, such as noisy, toxic, and duplicate data, would largely hurt the performance of models [64, 214, 216, 219]. Recent studies, such as T5 [82], GLaM [112], and Gopher [64], have investigated the influence of data quality on the LLMs' capacities. By comparing the performance of models trained on the filtered and unfiltered corpus, they have reached the similar conclusion that pre-training LLMs on cleaned data can improve the model performance. More specifically, the duplication of data may result in "_double descent_" (referring to the phenomenon of performance initially deteriorating and subsequently improving) [214, 228], or even overwhelm the training process [214]. In addition, it has been shown that duplicate data degrades the ability of LLMs to copy from the context, which might further affect the generalization capacity of LLMs using in-context learning [214]. Therefore, as suggested in [56, 64, 78, 212], it is essential to utilize preprocessing methods like quality filtering, toxic filtering and deduplication to carefully clean the pre-training corpus (as illustrated in Section 4.1.2), to improve stability of the training process and avoid affecting the model performance.
**데이터 품질의 영향에 대한 논의**. 사전 학습의 경우, 사전 학습 데이터의 품질은 LLM의 모델 성능에 매우 중요합니다. 기존 연구에 따르면 노이즈, 독성, 중복 데이터 등 품질이 낮은 코퍼스에 대해 사전 학습하면 모델의 성능이 크게 저하될 수 있다고 합니다[64, 214, 216, 219]. T5[82], GLaM[112], Gopher[64] 등 최근 연구에서는 데이터 품질이 LLM의 역량에 미치는 영향을 조사했습니다. 필터링된 코퍼스와 필터링되지 않은 코퍼스에서 학습된 모델의 성능을 비교한 결과, 정리된 데이터에 대해 LLM을 사전 학습하면 모델 성능을 향상시킬 수 있다는 유사한 결론에 도달했습니다. 보다 구체적으로, 데이터의 중복으로 인해 성능이 처음에는 악화되었다가 개선되는 현상('_double descent_'이라고 함)이 발생할 수 있으며[214, 228], 심지어 학습 과정을 압도할 수도 있습니다[214]. 또한 중복 데이터는 LLM이 문맥에서 복사하는 능력을 저하시켜 In-Context Learning에 사용되는 LLM의 일반화 능력에 영향을 미칠 수 있는 것으로 나타났습니다[214]. 따라서 [56, 64, 78, 212]에서 제안한 바와 같이 사전 학습 코퍼스를 신중하게 정리하여 학습 과정의 안정성을 개선하고 모델 성능에 영향을 주지 않도록 품질 필터링, 독성 필터링 및 중복 제거와 같은 전처리 방법을 활용하는 것이 필수적입니다(4.1.2절에서 설명한 바와 같이).
**데이터 품질의 영향에 대한 논의**. 사전 학습의 경우, 사전 학습 데이터의 품질은 LLM의 모델 성능에 매우 중요합니다. 기존 연구에 따르면 노이즈, 독성, 중복 데이터 등 품질이 낮은 코퍼스에 대해 사전 학습하면 모델의 성능이 크게 저하될 수 있다고 합니다[64, 214, 216, 219]. T5[82], GLaM[112], Gopher[64] 등 최근 연구에서는 데이터 품질이 LLM의 역량에 미치는 영향을 조사했습니다. 필터링된 코퍼스와 필터링되지 않은 코퍼스에서 학습된 모델의 성능을 비교한 결과, 정리된 데이터에 대해 LLM을 사전 학습하면 모델 성능을 향상시킬 수 있다는 유사한 결론에 도달했습니다. 보다 구체적으로, 데이터의 중복으로 인해 성능이 처음에는 악화되었다가 개선되는 현상('_이중 하강'이라고 함)이 발생할 수 있으며[214, 228], 심지어 학습 과정을 압도할 수도 있습니다[214]. 또한 중복 데이터는 LLM이 문맥에서 복사하는 능력을 저하시켜 인컨텍스트 학습에 사용되는 LLM의 일반화 능력에 영향을 미칠 수 있는 것으로 나타났습니다[214]. 따라서 [56, 64, 78, 212]에서 제안한 바와 같이 사전 학습 코퍼스를 신중하게 정리하여 학습 과정의 안정성을 개선하고 모델 성능에 영향을 주지 않도록 품질 필터링, 독성 필터링 및 중복 제거와 같은 전처리 방법을 활용하는 것이 필수적입니다(4.1.2절에서 설명한 바와 같이).