We report a boost on financial benchmarks [33] after continual pre-training on domain data of size 8% of what Pythia was trained on as an answer to the first question. We also observe an evidence of latest financial domain knowledge acquisition in FinPythia during qualitative analysis. To answer the second question, we propose two simple data selection techniques, task-aware _Efficient Task-Similar Domain-Adaptive Continual Pre-training_ (ETS-DACP) and _Efficient Task-Agnostic Domain-Adaptive Continual Pre-training_ (ETA-DACP). These methods outperform the performance of domain-adaptive continual pre-training with just 10% of selected domain data or 0.8% of Pythia's training corpus. We use three metrics for data selection: similarity, perplexity, and token type entropy. While similarity needs task data as seed, the latter two metrics are task-agnostic. To answer the third question, we benchmark these continually pre-trained models on four open-domain standard tasks like MMLU and TruthfulQA. We observe no significant performance change, indicating that LLM retains its general capabilities while adapting to the domain.
첫 번째 질문에 대한 답변으로 Pythia가 학습한 데이터의 8% 크기의 도메인 데이터에 대한 지속적인 사전 학습 후 재무 벤치마크 [33]가 상승한 것을 보고합니다. 또한 정성적 분석에서 최신 금융 도메인 지식 습득의 증거를 FinPythia에서 관찰했습니다. 두 번째 질문에 답하기 위해 두 가지 간단한 데이터 선택 기법인 작업 인식 _Efficient Task-Similar Domain-Adaptive Continual Pre-training_ (ETS-DACP)과 _Efficient Task-Agnostic Domain-Adaptive Continual Pre-training_ (ETA-DACP)을 제안합니다. 이러한 방법은 선택된 도메인 데이터의 10% 또는 Pythia의 학습 코퍼스의 0.8%만으로도 도메인 적응 지속적 사전 학습의 성능을 능가합니다. 데이터 선택에는 유사성, perplexity, 토큰 유형 entropy의 세 가지 메트릭을 사용합니다. 유사성은 작업 데이터를 시드로 필요하지만, 후자의 두 메트릭은 작업에 구애받지 않습니다. 세 번째 질문에 답하기 위해, 우리는 이러한 지속적으로 사전 학습된 모델을 MMLU 및 TruthfulQA와 같은 4가지 공개 도메인 표준 작업에 벤치마크합니다. 큰 성능 변화는 관찰되지 않았으며, 이는 LLM이 도메인에 적응하는 동안 일반적인 기능을 유지한다는 것을 나타냅니다.
첫 번째 질문에 대한 답변으로 Pythia가 학습한 데이터의 8% 크기의 도메인 데이터에 대한 지속적인 사전 학습 후 재무 벤치마크 [33]가 상승한 것을 보고합니다. 또한 정성적 분석에서 최신 금융 도메인 지식 습득의 증거를 FinPythia에서 관찰했습니다. 두 번째 질문에 답하기 위해 두 가지 간단한 데이터 선택 기법인 작업 인식 _효율적인 작업 유사 도메인 적응 지속적 사전 학습_(ETS-DACP)과 _효율적인 작업 비인식 도메인 적응 지속적 사전 학습_(ETA-DACP)을 제안합니다. 이러한 방법은 선택된 도메인 데이터의 10% 또는 Pythia의 학습 코퍼스의 0.8%만으로도 도메인 적응 지속적 사전 학습의 성능을 능가합니다. 데이터 선택에는 유사성, 당황스러움, 토큰 유형 엔트로피의 세 가지 메트릭을 사용합니다. 유사성은 작업 데이터를 시드로 필요하지만, 후자의 두 메트릭은 작업에 구애받지 않습니다. 세 번째 질문에 답하기 위해, 우리는 이러한 지속적으로 사전 학습된 모델을 MMLU 및 TruthfulQA와 같은 4가지 공개 도메인 표준 작업에 벤치마크합니다. 큰 성능 변화는 관찰되지 않았으며, 이는 LLM이 도메인에 적응하는 동안 일반적인 기능을 유지한다는 것을 나타냅니다.