* **Knowledge acquisition** QA accuracies on test questions measured by exact match. * **Perplexity of documents** We compute perplexity (PPL) on all tokens within the documents. * **Knowledge retention** We approximate the retention of accumulated knowledge during pre-training by assessing the QA accuracy on the Natural Questions (NQ) dataset. NQ was released in 2019, and primarily includes questions based on Wikipedia articles from that time.
* **지식 습득** 정확히 일치하는지 여부로 측정된 테스트 문제에 대한 QA 정확도. * **문서의 Perplexity** 문서 내의 모든 토큰에 대해 Perplexity (PPL)을 계산합니다. * **지식 유지율** 사전 학습 중에 축적된 지식의 유지율을 Natural Questions (NQ) 데이터 세트의 QA 정확도를 평가하여 근사화합니다. NQ는 2019년에 출시되었으며, 주로 당시의 위키백과 문서를 기반으로 한 질문을 포함합니다.
* **지식 습득** 정확히 일치하는지 여부로 측정된 테스트 문제에 대한 QA 정확도. * **문서의 당혹감** 문서 내의 모든 토큰에 대해 당혹감(PPL)을 계산합니다. * **지식 유지율** 사전 학습 중에 축적된 지식의 유지율을 Natural Questions(NQ) 데이터 세트의 QA 정확도를 평가하여 근사화합니다. NQ는 2019년에 출시되었으며, 주로 당시의 위키백과 문서를 기반으로 한 질문을 포함합니다.