We evaluate the models on financial tasks to evaluate the effectiveness of our domain-adaptive continual pre-training. We adopt the _FLARE_ framework [33] to evaluate our models. FLARE extends the LLM evaluation framework _lm-evaluation-harmess3_ by including various financial tasks. We follow their instruction prompt, data split, and metric computation for comparison. We consider following 4 tasks used in [31; 33]: (1) **Financial Phrase Bank**. FPB is a sentiment classification task on financial news [19]. The sentiment reflects whether the news is considered as positive/neutral/negative by investors. (2) **FiQA SA.** An aspect based sentiment classification task based on financial news and headlines [18]. (3) **Headline.** Binary classification task on whether a headline on a financial entity contains certain information [25]. Each news article is associated with 9 tags like "price or not", "price up", "price down", "price stable", "past price", and "asset". (4) **NER.** Financial named entity extraction task is based on credit risk assessment section of SEC reports. Words in this task are annotated with PER, LOC, ORG, and MISC.
재무 작업에 대한 모델을 평가하여 도메인 적응 지속적 사전 학습의 효과를 평가합니다. 저희는 모델을 평가하기 위해 _FLARE_ 프레임워크 [33]를 채택했습니다. FLARE는 다양한 재무 작업을 포함하여 LLM 평가 프레임워크 _lm-evaluation-harmess3_를 확장합니다. 비교를 위해 instruction prompt, 데이터 분할 및 metric 계산을 따릅니다. [31; 33]에서 사용한 다음 4가지 작업을 고려합니다: (1) **금융 구문 은행**. FPB는 금융 뉴스에 대한 감성 분류 작업입니다 [19]. 이 감성은 투자자가 뉴스를 긍정/중립/부정으로 간주하는지 여부를 반영합니다. (2) **FiQA SA.** 금융 뉴스 및 헤드라인을 기반으로 한 측면 기반 감성 분류 작업 [18]. (3) **헤드라인.** 금융 법인에 대한 헤드라인에 특정 정보가 포함되어 있는지 여부에 대한 이진 분류 작업 [25]. 각 뉴스 기사에는 "가격 또는 아님", "가격 상승", "가격 하락", "가격 안정", "과거 가격", "자산" 등 9개의 태그가 연결되어 있습니다. (4) **NER.** 금융 명명된 엔티티 추출 작업은 SEC 보고서의 신용 위험 평가 섹션을 기반으로 합니다. 이 작업의 단어에는 PER, LOC, ORG 및 MISC가 주석 처리됩니다.
재무 작업에 대한 모델을 평가하여 도메인 적응 지속적 사전 학습의 효과를 평가합니다. 저희는 모델을 평가하기 위해 _FLARE_ 프레임워크 [33]를 채택했습니다. FLARE는 다양한 재무 작업을 포함하여 LLM 평가 프레임워크 _lm-evaluation-harmess3_를 확장합니다. 비교를 위해 지침 프롬프트, 데이터 분할 및 메트릭 계산을 따릅니다. [31; 33]에서 사용한 다음 4가지 작업을 고려합니다: (1) **금융 구문 은행**. FPB는 금융 뉴스에 대한 감성 분류 작업입니다 [19]. 이 감성은 투자자가 뉴스를 긍정/중립/부정으로 간주하는지 여부를 반영합니다. (2) **FiQA SA.** 금융 뉴스 및 헤드라인을 기반으로 한 측면 기반 감성 분류 작업 [18]. (3) **헤드라인.** 금융 법인에 대한 헤드라인에 특정 정보가 포함되어 있는지 여부에 대한 이진 분류 작업 [25]. 각 뉴스 기사에는 "가격 또는 아님", "가격 상승", "가격 하락", "가격 안정", "과거 가격", "자산" 등 9개의 태그가 연결되어 있습니다. (4) **NER.** 금융 명명된 엔티티 추출 작업은 SEC 보고서의 신용 위험 평가 섹션을 기반으로 합니다. 이 작업의 단어에는 PER, LOC, ORG 및 MISC가 주석 처리됩니다.