_Not all data are useful for knowledge acquisition. For instance, while Wikipedia is full of valuable information, the Common Crawl of web pages may not be (there are also many pieces of information on those webpages, but they may not be useful for a language model to learn, such as the serial number of a random product). How does the presence of low-quality data impact the scaling laws of useful knowledge capacity?
모든 데이터가 지식 습득에 유용한 것은 아닙니다. 예를 들어, 위키피디아에는 귀중한 정보가 가득하지만 웹 페이지의 Common Crawl은 그렇지 않을 수 있습니다(웹 페이지에는 많은 정보가 있지만 언어 모델이 학습하는 데 유용하지 않을 수 있는 정보, 예: 무작위 제품의 일련 번호 등이 있습니다). 품질이 낮은 데이터의 존재가 유용한 지식 용량의 scaling laws에 어떤 영향을 미치나요?
모든 데이터가 지식 습득에 유용한 것은 아닙니다. 예를 들어, 위키피디아에는 귀중한 정보가 가득하지만 웹 페이지의 커먼 크롤링은 그렇지 않을 수 있습니다(웹 페이지에는 많은 정보가 있지만 언어 모델이 학습하는 데 유용하지 않을 수 있는 정보, 예: 무작위 제품의 일련 번호 등이 있습니다). 품질이 낮은 데이터의 존재가 유용한 지식 용량의 확장 법칙에 어떤 영향을 미치나요?