Motivated by the intuition that these duplicate-driven clusters need tshould be pruned, as well as the recent success of pruning methods in vision and vision-language models [1, 47], we focus our efforts on data selection strategies that manipulate data points based on their position in an embedding space. We embed each document by feeding it into a 125M OPT model and use the last-layer embedding of the last token (we experiment with different embedding spaces in Section A.7).
이러한 중복 기반 클러스터를 pruning해야 한다는 직관과 최근 비전 및 비전 언어 모델에서 pruning 방법의 성공 [1, 47]에 동기를 부여하여 embedding 공간에서의 위치에 따라 데이터 포인트를 조작하는 데이터 선택 전략에 집중합니다. 각 문서를 125M OPT 모델에 입력하여 embedding하고 마지막 토큰의 마지막 레이어 embedding을 사용합니다(섹션 A.7에서 다양한 embedding 공간을 실험합니다).
이러한 중복 기반 클러스터를 가지치기해야 한다는 직관과 최근 비전 및 비전 언어 모델에서 가지치기 방법의 성공 [1, 47]에 동기를 부여하여 임베딩 공간에서의 위치에 따라 데이터 포인트를 조작하는 데이터 선택 전략에 집중합니다. 각 문서를 125M OPT 모델에 입력하여 임베딩하고 마지막 토큰의 마지막 레이어 임베딩을 사용합니다(섹션 A.7에서 다양한 임베딩 공간을 실험합니다).