New Text Corpus for Language ModelingFor LMs to renew their internal knowledge, they need to be continually pretrained on a new text corpus \(D_{1}\) which has the updated and new information. \(D_{1}\) should ideally be much smaller than \(D_{0}\), as a large \(D_{1}\) amounting to the size of \(D_{0}\) will result in massive computational costs similar to pretraining the LMs from scratch.
언어 모델링을 위한 새로운 텍스트 코퍼스LM이 내부 지식을 새로 고치려면 업데이트된 새로운 정보가 포함된 새로운 텍스트 코퍼스 \(D_{1}\)에 대해 지속적으로 pretraining을 해야 합니다. \(D_{1}\)는 \(D_{0}\)의 크기에 해당하는 큰 \(D_{1}\)는 처음부터 LM을 pretraining하는 것과 유사한 막대한 계산 비용을 초래하므로, 이상적으로는 \(D_{0}\)보다 훨씬 작아야 합니다.
언어 모델링을 위한 새로운 텍스트 코퍼스LM이 내부 지식을 새로 고치려면 업데이트된 새로운 정보가 포함된 새로운 텍스트 코퍼스 \(D_{1}\)에 대해 지속적으로 사전 학습을 해야 합니다. D_{1}\)는 \(D_{0}\)의 크기에 해당하는 큰 \(D_{1}\)는 처음부터 LM을 사전 학습하는 것과 유사한 막대한 계산 비용을 초래하므로, 이상적으로는 \(D_{0}\)보다 훨씬 작아야 합니다.