To evaluate financial domain tasks, we compare FinPythia and Fynthia-1B exhibit superior performance on tasks FPB, Headline, and NER while showing comparatively lower results on the FiQA SA task compared with Pythia counterparts. DACP boosts the average task performance by 2.8% for the 1B model and 8.3% for the 6.9B model. These outcomes directly substantiate the impact of domain-adaptive continual pre-training on enhancing in-domain task performance. Furthermore, Pythia-6.9B outperforms OPT-7B, BLOOM-7B, and GPT-J-GB on average.
금융 도메인 작업을 평가하기 위해, 우리는 FinPythia와 Fynthia-1B가 FPB, Headline, NER 작업에서 우수한 성능을 보이는 반면, FiQA SA 작업에서는 Pythia와 비교하여 상대적으로 낮은 결과를 보임을 확인했습니다. DACP는 1B 모델의 평균 작업 성능을 2.8%, 6.9B 모델의 경우 8.3% 향상시킵니다. 이러한 결과는 도메인 적응 지속 사전 학습이 도메인 내 작업 성능을 향상시키는 데 미치는 영향을 직접적으로 입증합니다. 또한, Pythia-6.9B는 평균적으로 OPT-7B, BLOOM-7B, GPT-J-GB를 능가합니다.
재무 도메인 작업을 평가하기 위해 FinPythia와 Fynthia-1B가 FPB, 헤드라인 및 NER 작업에서 우수한 성능을 보이는 반면, FiQA SA 작업에서는 Pythia에 비해 상대적으로 낮은 결과를 보이는 것으로 나타났습니다. DACP는 1B 모델의 경우 평균 작업 성능을 2.8%, 6.9B 모델의 경우 8.3% 향상시킵니다. 이러한 결과는 도메인 적응 지속적 사전 학습이 도메인 내 작업 성능 향상에 미치는 영향을 직접적으로 입증합니다. 또한 Pythia-6.9B는 OPT-7B, BLOOM-7B 및 GPT-J-GB보다 평균적으로 성능이 우수합니다.