To assess the ability of LLMs to learn knowledge from new documents, it is essential to use a document corpus with minimal overlap with the original pre-training corpus. This ensures that when an LLM correctly answers questions, we can confidently attribute this capability to its learning from the new documents, rather than encountering similar questions in its original pre-training corpus. In this section, we describe a methodology for building such a corpus from Wikipedia.
새로운 문서에서 지식을 학습하는 Large Language Models (LLMs)의 능력을 평가하려면 원래의 pre-training 코퍼스와 최소한의 중복이 있는 문서 코퍼스를 사용해야 합니다. 이렇게 하면 LLM이 질문에 올바르게 답할 때 원래의 pre-training 코퍼스에서 유사한 질문을 접하는 것이 아니라 새로운 문서를 학습한 결과라고 자신 있게 판단할 수 있습니다. 이 섹션에서는 Wikipedia에서 이러한 코퍼스를 구축하는 methodology를 설명합니다.
새로운 문서에서 지식을 학습하는 LLM의 능력을 평가하려면 원래의 사전 학습 코퍼스와 최소한의 중복이 있는 문서 코퍼스를 사용해야 합니다. 이렇게 하면 LLM이 질문에 올바르게 답할 때 원래의 사전 학습 코퍼스에서 유사한 질문을 접하는 것이 아니라 새로운 문서를 학습한 결과라고 자신 있게 판단할 수 있습니다. 이 섹션에서는 위키피디아에서 이러한 코퍼스를 구축하는 방법론을 설명합니다.