In our initial exploration of un-curated web data, we embedded a large sample of web documents, clustered these embeddings, and manually inspected the resulting clusters. We quickly identified several high density clusters with documents that had little to do with the natural distribution of human language and were artifacts of the web crawling: for example, advertisements of Nike shoes that were automatically generated from a single underlying template with minor modifications (see Section A.9 for details).
큐레이션되지 않은 웹 데이터를 처음 탐색할 때, 우리는 많은 양의 웹 문서를 embedding하고 이러한 embedding을 clustering한 다음 결과 cluster를 수동으로 검사했습니다. 우리는 단일 기본 템플릿에서 사소한 수정을 거쳐 자동으로 생성된 나이키 신발 광고(자세한 내용은 섹션 A.9 참조)와 같이, 인간 언어의 자연스러운 분포와는 거리가 멀고 웹 크롤링의 산물인 문서가 있는 밀도가 높은 cluster를 여러 개 신속하게 식별했습니다.
큐레이션되지 않은 웹 데이터를 처음 탐색할 때, 우리는 많은 양의 웹 문서를 임베딩하고 이러한 임베딩을 클러스터링한 다음 결과 클러스터를 수동으로 검사했습니다. 우리는 단일 기본 템플릿에서 사소한 수정을 거쳐 자동으로 생성된 나이키 신발 광고(자세한 내용은 섹션 A.9 참조)와 같이, 인간 언어의 자연스러운 분포와는 거리가 멀고 웹 크롤링의 산물인 문서가 있는 밀도가 높은 클러스터를 여러 개 신속하게 식별했습니다.