These results demonstrate the effectiveness of continual pre-training on domains and task (sub-domains). A natural question that arises from this exercise is _whether the LLM is losing its generality by being further tuned on a narrow domain?_ In short, is the LLM becoming a specialist at the expense of being a generalist? We answer this question by measuring the performance of continually pre-trained LLM variants on out-of-domain tasks which Pythia was evaluated on. Table 4 shows the performance on the standard four non-finance tasks. We do not observe any significant change in the performance on the four out-of-domain tasks except for DACP with 100% data.
이 결과들은 도메인과 작업(하위 도메인)에 대한 지속적인 사전 훈련의 효과를 보여줍니다. 이 연습에서 자연스럽게 떠오르는 질문은 _LLM이 좁은 도메인에서 추가로 조정됨으로써 그 일반성을 잃고 있는가?_ 입니다. 간단히 말해, LLM이 일반성을 희생하면서 전문가가 되고 있는가? 우리는 Pythia가 평가된 도메인 외 작업에서 지속적으로 사전 훈련된 LLM 변형의 성능을 측정하여 이 질문에 답합니다. 표 4는 표준 네 가지 비금융 작업에 대한 성능을 보여줍니다. 100% 데이터로 DACP를 제외하고는 네 가지 도메인 외 작업에서 성능의 유의미한 변화를 관찰하지 못했습니다.
이러한 결과는 도메인과 작업(하위 도메인)에 대한 지속적인 사전 학습의 효과를 보여줍니다. 이 연습에서 자연스럽게 제기되는 질문은 _LLM이 좁은 도메인에 대해 추가로 튜닝됨으로써 일반성을 잃고 있는 것은 아닌가 하는 것입니다. 즉, LLM이 범용주의를 희생하면서 전문가가 되고 있는 것일까요? 이 질문에 답하기 위해 파이시아가 평가한 도메인 외 작업에 대해 지속적으로 사전 학습된 LLM 변형의 성능을 측정했습니다. 표 4는 표준 4가지 비금융 업무에 대한 성능을 보여줍니다. 데이터가 100%인 DACP를 제외하고는 4가지 도메인 외 작업의 성능에 큰 변화를 관찰할 수 없습니다.