All data selection methods we employ rely heavily on the quality of the underlying embedding space. We qualitatively analyzed the embedding produced by the last-token last-layer OPT 125M model and observed a bias towards end-of-document format. For example, if documents all end with an email or a standard phrase ("Buy our product today!"), then these documents would be clustered together.
우리가 사용하는 모든 데이터 선택 방법은 기본 embedding 공간의 품질에 크게 의존합니다. 마지막 토큰 마지막 레이어 OPT 125M 모델에서 생성된 embedding을 정성적으로 분석한 결과 문서 끝 형식에 대한 편향성이 관찰되었습니다. 예를 들어, 모든 문서가 이메일이나 표준 문구("오늘 저희 제품을 구매하세요!")로 끝나는 경우 이러한 문서가 함께 클러스터링됩니다.
우리가 사용하는 모든 데이터 선택 방법은 기본 임베딩 공간의 품질에 크게 의존합니다. 마지막 토큰 마지막 레이어 OPT 125M 모델에서 생성된 임베딩을 정성적으로 분석한 결과 문서 끝 형식에 대한 편향성이 관찰되었습니다. 예를 들어, 모든 문서가 이메일이나 표준 문구("오늘 저희 제품을 구매하세요!")로 끝나는 경우 이러한 문서가 함께 클러스터링됩니다.