We use similarity between embeddings of task data and domain corpus samples to perform data selection. This allows us to select a subset from the domain corpus that closely resembles the distribution of task data. To quantify document-level task similarity, we employ cosine similarity between the document embedding and task data embedding. Prior works like [13] calculate embeddings from language model (RoBERTa) for a given unlabeled sample twice, which is not practical for LLMs. It takes a forward pass to compute the embeddings using LLM over entire corpus, or 25% of compute of using to train the pre-train the LLM over the entire corpus. We compute embeddings using the _Spacy_ model [9]. This approach allows us to cost-effectively measure the alignment between task-specific information and the financial corpus, enabling more focused and targeted pre-training.
작업 데이터와 도메인 코퍼스 샘플의 임베딩 유사성을 사용하여 데이터 선택을 수행합니다. 이를 통해 도메인 코퍼스에서 작업 데이터의 분포와 유사한 하위 집합을 선택할 수 있습니다. 문서 수준의 작업 유사성을 정량화하기 위해 문서 임베딩과 작업 데이터 임베딩 간의 cosine similarity를 사용합니다. [13]과 같은 선행 연구에서는 라벨이 없는 주어진 샘플에 대해 언어 모델(RoBERTa)에서 임베딩을 두 번 계산하는데, 이는 LLM에 실용적이지 않습니다. 전체 코퍼스에 걸쳐 LLM을 사용하여 임베딩을 계산하려면 forward pass가 필요하며, 전체 코퍼스에 걸쳐 LLM을 pre-train하는 데 사용하는 compute의 25%가 소요됩니다. 저희는 _Spacy_ 모델 [9]을 사용하여 임베딩을 계산합니다. 이 접근 방식을 사용하면 작업별 정보와 금융 코퍼스 간의 alignment를 비용 효율적으로 측정할 수 있으므로 보다 집중적이고 목표에 맞는 pre-training을 할 수 있습니다.
작업 데이터와 도메인 코퍼스 샘플의 임베딩 유사성을 사용하여 데이터 선택을 수행합니다. 이를 통해 도메인 코퍼스에서 작업 데이터의 분포와 유사한 하위 집합을 선택할 수 있습니다. 문서 수준의 작업 유사성을 정량화하기 위해 문서 임베딩과 작업 데이터 임베딩 간의 코사인 유사성을 사용합니다. [13]과 같은 선행 연구에서는 라벨이 없는 주어진 샘플에 대해 언어 모델(RoBERTa)에서 임베딩을 두 번 계산하는데, 이는 LLM에 실용적이지 않습니다. 전체 코퍼스에 걸쳐 LLM을 사용하여 임베딩을 계산하려면 포워드 패스가 필요하며, 전체 코퍼스에 걸쳐 LLM을 사전 학습하는 데 사용하는 컴퓨팅 성능의 25%가 소요됩니다. 저희는 _Spacy_ 모델 [9]을 사용하여 임베딩을 계산합니다. 이 접근 방식을 사용하면 작업별 정보와 금융 코퍼스 간의 정렬을 비용 효율적으로 측정할 수 있으므로 보다 집중적이고 목표에 맞는 사전 학습을 할 수 있습니다.