Task-adaptive continual pre-training (TACP) refers to continual pre-training aiming to enhance performance on a targeted task. TACP has been studied in the context of smaller language models like BERT by pre-training the language model on labeled and unlabeled data from the task [8; 1; 6] showing improvements over the task. While task data is usually quite limited, TACP shows considerable effects on smaller language models like BERT. We benchmark TACP on our four financial evaluation tasks.
작업 적응형 지속적 사전 학습(TACP)은 목표 작업의 성능을 향상시키기 위한 지속적 사전 학습을 말합니다. TACP는 작업의 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터에 대해 언어 모델을 사전 학습하여 작업보다 향상된 성능을 보여주는 BERT와 같은 소규모 Large Language Models (LLMs)의 맥락에서 연구되었습니다[8; 1; 6]. 작업 데이터는 일반적으로 상당히 제한적이지만, TACP는 BERT와 같은 소규모 Large Language Models (LLMs)에 상당한 효과를 보여줍니다. 우리는 네 가지 재무 평가 작업에 대해 TACP를 벤치마킹합니다.
작업 적응형 지속적 사전 학습(TACP)은 목표 작업의 성능을 향상시키기 위한 지속적 사전 학습을 말합니다. TACP는 작업의 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터에 대해 언어 모델을 사전 학습하여 작업보다 향상된 성능을 보여주는 BERT와 같은 소규모 언어 모델의 맥락에서 연구되었습니다[8; 1; 6]. 작업 데이터는 일반적으로 상당히 제한적이지만, TACP는 BERT와 같은 소규모 언어 모델에 상당한 효과를 보여줍니다. 우리는 네 가지 재무 평가 작업에 대해 TACP를 벤치마킹합니다.