However, despite thorough document-level filtering, high-quality datasets still contain many noisy tokens that can negatively affect training, as illustrated in Figure 2 (Upper). Removing such tokens might alter the text's meaning, while overly strict filtering could exclude useful data (Welbl et al., 2021; Muennighoff et al., 2024) and lead to biases (Dodge et al., 2021; Longpre et al., 2023). Furthermore, research indicates that the distribution of web data does not inherently align with the ideal distribution for downstream applications (Tay et al., 2022; Wettig et al., 2023). For example, common corpus at the token level may include undesirable content like hallucinations or highly ambiguous tokens that are hard to predict. Applying the same loss to all tokens can result in wasted computation on non-beneficial tokens, possibly limiting LLM's potential to merely mediocre intelligence.
그러나 철저한 문서 수준 필터링에도 불구하고 고품질 데이터 세트에는 그림 2(위쪽)에서 볼 수 있듯이 학습에 부정적인 영향을 미칠 수 있는 노이즈 토큰이 많이 포함되어 있습니다. 이러한 토큰을 제거하면 텍스트의 의미가 달라질 수 있으며, 지나치게 엄격한 필터링은 유용한 데이터를 제외하여 편향성을 유발할 수 있습니다(Welbl et al., 2021; Muennighoff et al., 2024). 또한 연구에 따르면 웹 데이터의 분포가 하류 애플리케이션에 이상적인 분포와 본질적으로 일치하지 않는 것으로 나타났습니다(Tay et al., 2022; Wettig et al., 2023). 예를 들어, 토큰 수준의 일반적인 말뭉치에는 hallucination이나 예측하기 어려운 매우 모호한 토큰과 같은 바람직하지 않은 콘텐츠가 포함될 수 있습니다. 모든 토큰에 동일한 Loss를 적용하면 유익하지 않은 토큰에 대한 계산이 낭비되어 LLM의 잠재력이 그저 평범한 지능에 국한될 수 있습니다.
그러나 철저한 문서 수준 필터링에도 불구하고 고품질 데이터 세트에는 그림 2(위쪽)에서 볼 수 있듯이 학습에 부정적인 영향을 미칠 수 있는 노이즈 토큰이 많이 포함되어 있습니다. 이러한 토큰을 제거하면 텍스트의 의미가 달라질 수 있으며, 지나치게 엄격한 필터링은 유용한 데이터를 제외하여 편향성을 유발할 수 있습니다(Welbl et al., 2021; Muennighoff et al., 2024). 또한 연구에 따르면 웹 데이터의 분포가 하류 애플리케이션에 이상적인 분포와 본질적으로 일치하지 않는 것으로 나타났습니다(Tay et al., 2022; Wettig et al., 2023). 예를 들어, 토큰 수준의 일반적인 말뭉치에는 환각이나 예측하기 어려운 매우 모호한 토큰과 같은 바람직하지 않은 콘텐츠가 포함될 수 있습니다. 모든 토큰에 동일한 손실을 적용하면 유익하지 않은 토큰에 대한 계산이 낭비되어 LLM의 잠재력이 그저 평범한 지능에 국한될 수 있습니다.