**Novelty** refers to the information that was unseen by the LLM before. We gauge the level of novelty in a document based on the **perplexity** recorded by LLM. Documents with higher perplexity are less represented in the original training corpus, thus being more likely to contain novel knowledge for the model. Such samples are also viewed as more difficult to learn [3]. Hence, these samples can be valuable in continual pre-training to help models acquire novel information.
**Novelty**는 LLM이 이전에 보지 못했던 정보를 의미합니다. 문서의 참신도 수준은 LLM이 기록한 **perplexity**를 기준으로 측정합니다. Perplexity가 높은 문서는 원래 학습 코퍼스에 잘 표현되지 않으므로 모델에 새로운 지식을 포함할 가능성이 높습니다. 이러한 샘플은 학습하기 더 어려운 것으로 간주됩니다[3]. 따라서 이러한 샘플은 모델이 새로운 정보를 습득하는 데 도움이 되는 지속적인 사전 학습에 유용할 수 있습니다.
**새로움**은 LLM이 이전에 보지 못했던 정보를 의미합니다. 문서의 참신도 수준은 LLM이 기록한 **난해성**을 기준으로 측정합니다. 난해성이 높은 문서는 원래 학습 코퍼스에 잘 표현되지 않으므로 모델에 새로운 지식을 포함할 가능성이 높습니다. 이러한 샘플은 학습하기 더 어려운 것으로 간주됩니다[3]. 따라서 이러한 샘플은 모델이 새로운 정보를 습득하는 데 도움이 되는 지속적인 사전 학습에 유용할 수 있습니다.