In an effort to understand why SentenceTransformer embedding spaces perform worse at larger model scales, we qualitatively analyze the clusterings with each SentenceTransformer embedding space. We find that using D4 with "all-mp-net-base-v2" and "all-mini-lm-v6" disproportionately prunes long documents. We hypothesize that this is because sentence transformer models are trained and finetuned on actual sentence pairs, which very rarely saturate the max context length of the model. This might result in all "long" documents (or at least any input that is max-context-length size) seem out-of-distribution to the model. We guess that this results in long documents being clustered together, and therefore disproportionately affected during pruning. This might be especially relevant in domains like Wikipedia articles, where headers and introductions look semantically similar, but the actual content (past the first max-context-length tokens) is very different.
문장 Transformer 임베딩 공간이 더 큰 모델 규모에서 더 나쁜 성능을 보이는 이유를 이해하기 위해 각 SentenceTransformer 임베딩 공간을 사용하여 클러스터링을 정성적으로 분석합니다. 그 결과, "all-mp-net-base-v2" 및 "all-mini-lm-v6"과 함께 D4를 사용하면 장문 문서가 불균형하게 잘려나가는 것을 발견했습니다. 이는 Sentence Transformer 모델이 실제 문장 쌍에 대해 학습하고 Fine-tuning하기 때문에 모델의 최대 컨텍스트 길이에 거의 포화 상태에 이르지 않기 때문이라고 가설을 세웁니다. 이로 인해 모든 '긴' 문서(또는 최소한 최대 컨텍스트 길이 크기의 입력)가 모델에 대해 분포를 벗어난 것처럼 보일 수 있습니다. 이로 인해 긴 문서가 함께 클러스터링되어 가지치기 과정에서 불균형하게 영향을 받는 것으로 추측됩니다. 이는 제목과 소개가 의미적으로 비슷해 보이지만 실제 내용(최초의 최대 컨텍스트 길이 토큰을 제외한 내용)이 매우 다른 위키백과 문서와 같은 도메인에서 특히 관련성이 있을 수 있습니다.
문장 변환기 임베딩 공간이 더 큰 모델 규모에서 더 나쁜 성능을 보이는 이유를 이해하기 위해 각 문장 변환기 임베딩 공간을 사용하여 클러스터링을 정성적으로 분석합니다. 그 결과, "all-mp-net-base-v2" 및 "all-mini-lm-v6"과 함께 D4를 사용하면 장문 문서가 불균형하게 잘려나가는 것을 발견했습니다. 이는 문장 변환기 모델이 실제 문장 쌍에 대해 학습하고 미세 조정하기 때문에 모델의 최대 컨텍스트 길이에 거의 포화 상태에 이르지 않기 때문이라고 가설을 세웁니다. 이로 인해 모든 '긴' 문서(또는 최소한 최대 컨텍스트 길이 크기의 입력)가 모델에 대해 분포를 벗어난 것처럼 보일 수 있습니다. 이로 인해 긴 문서가 함께 클러스터링되어 가지치기 과정에서 불균형하게 영향을 받는 것으로 추측됩니다. 이는 제목과 소개가 의미적으로 비슷해 보이지만 실제 내용(최초의 최대 컨텍스트 길이 토큰을 제외한 내용)이 매우 다른 위키백과 문서와 같은 도메인에서 특히 관련성이 있을 수 있습니다.