BERT embeddings have generally been used to accomplish various NLP tasks, because BERT (unlike GPT/OPT) is able to attend to every token in the input when producing an embedding (BERT is a encoder-decoder model, while OPT/GPT are decoder only). While there are numerous BERT-style models available, we hoped to achieve an embedding space that focused on semantic similarity. Thus, we opted to use the widely popular SentenceTransformer models 3, which are BERT-style models finetuned specifically >1B text similarity pairs. We choose the top model on the SentenceTransformer leaderboard (all-mpnet-base-v2) and the smallest well-performing model (all-Mini-LM-v6). Note that these models have max context length of 256 and 384 (respectively), and we stuck with the SentenceTransformer default of truncating inputs to fit the max sequence length (i.e. these embeddings only consider the beginning of documents).
BERT embeddings은 일반적으로 다양한 NLP 작업을 수행하는 데 사용되어 왔는데, 이는 BERT가 embedding을 생성할 때 입력의 모든 토큰에 attention을 기울일 수 있기 때문입니다(BERT는 Encoder-Decoder 모델인 반면, OPT/GPT는 Decoder 전용 모델입니다). 수많은 BERT 스타일 모델이 있지만, 우리는 의미 유사성에 초점을 맞춘 embedding 공간을 달성하고자 했습니다. 따라서 우리는 10억 개 이상의 텍스트 유사성 쌍에 대해 특별히 Fine-tuning된 BERT 스타일 모델인 널리 사용되는 SentenceTransformer 모델 3을 사용하기로 결정했습니다. SentenceTransformer 리더보드에서 가장 높은 순위의 모델(all-mpnet-base-v2)과 성능이 가장 우수한 소형 모델(all-Mini-LM-v6)을 선택했습니다. 이 모델들의 최대 문맥 길이는 각각 256과 384이며, 최대 시퀀스 길이에 맞게 입력을 잘라내는 SentenceTransformer의 기본값을 고수했습니다(즉, 이 embedding은 문서의 시작 부분만 고려합니다).
BERT 임베딩은 일반적으로 다양한 NLP 작업을 수행하는 데 사용되어 왔는데, 이는 BERT가 임베딩을 생성할 때 입력의 모든 토큰에 주의를 기울일 수 있기 때문입니다(BERT는 인코더-디코더 모델인 반면, OPT/GPT는 디코더 전용 모델입니다). 수많은 BERT 스타일 모델이 있지만, 우리는 의미 유사성에 초점을 맞춘 임베딩 공간을 달성하고자 했습니다. 따라서 우리는 10억 개 이상의 텍스트 유사성 쌍에 대해 특별히 미세 조정된 BERT 스타일 모델인 널리 사용되는 SentenceTransformer 모델 3을 사용하기로 결정했습니다. SentenceTransformer 리더보드에서 가장 높은 순위의 모델(all-mpnet-base-v2)과 성능이 가장 우수한 소형 모델(all-Mini-LM-v6)을 선택했습니다. 이 모델들의 최대 문맥 길이는 각각 256과 384이며, 최대 시퀀스 길이에 맞게 입력을 잘라내는 SentenceTransformer의 기본값을 고수했습니다(즉, 이 임베딩은 문서의 시작 부분만 고려합니다).