Footnote 4: Despite a simple case, our findings on two domains have practical applications to continue pretraining (Gururangan et al., 2020), where we aim to enhance a pretrained model on a given domain by training it on a mixture of the original pretraining data and upcoming domain data. Please see Sec. 5 for details.
각주 4: 간단한 사례임에도 불구하고, 우리의 연구 결과는 사전 학습을 계속하기 위한 실용적인 응용 분야(Gururangan et al., 2020)에 두 가지 영역에 대한 실용적인 응용 분야를 가지고 있으며, 여기서 우리는 원래의 pretraining 데이터와 다가오는 도메인 데이터의 혼합물에 대해 학습시킴으로써 주어진 도메인에 대해 사전 학습된 모델을 향상시키는 것을 목표로 합니다. 자세한 내용은 섹션 5를 참조하세요.
각주 4: 간단한 사례임에도 불구하고, 우리의 연구 결과는 사전 학습을 계속하기 위한 실용적인 응용 분야(Gururangan et al., 2020)에 두 가지 영역에 대한 실용적인 응용 분야를 가지고 있으며, 여기서 우리는 원래의 사전 학습 데이터와 다가오는 도메인 데이터의 혼합물에 대해 학습시킴으로써 주어진 도메인에 대해 사전 학습된 모델을 향상시키는 것을 목표로 합니다. 자세한 내용은 섹션 5를 참조하세요.