For RealNews and LM1B, derived from news sites, we observe that many near-duplicates occur because the same news article appears on multiple news sites with slightly different formatting. For example, in LM1B, there is one example that starts "_MINEOLA, N.Y. - New York officials say_ [...]" and another that starts "_( AP ) - New York officials say_ [...]". The two examples are otherwise identical.
뉴스 사이트에서 파생된 RealNews와 LM1B의 경우, 동일한 뉴스 기사가 약간 다른 형식으로 여러 뉴스 사이트에 등장하기 때문에 많은 중복이 발생하는 것을 관찰할 수 있습니다. 예를 들어, LM1B에는 "_MINEOLA, N.Y. - New York officials say_ [...]"으로 시작하는 예와 "_( AP ) - New York officials say_ [...]"으로 시작하는 예가 있습니다. 두 예는 다른 점이 없습니다.
뉴스 사이트에서 파생된 RealNews와 LM1B의 경우, 동일한 뉴스 기사가 약간 다른 형식으로 여러 뉴스 사이트에 등장하기 때문에 많은 중복이 발생하는 것을 관찰할 수 있습니다. 예를 들어, LM1B에는 "_MINEOLA, N.Y. - 뉴욕 관리들은_ [...]"으로 시작하는 예와 "_( AP ) - 뉴욕 관리들은_ [...]"으로 시작하는 예가 있습니다. 두 예는 다른 점이 없습니다.