To keep LLMs up-to-date, it is common to continue pre-training on new documents to store knowledge in parameters, which allows LLMs to effectively answer queries that require up-to-date information (Jang et al., 2022). A widely held view is that the factual knowledge stored in parameters can be elicited through prompting (Brown et al., 2020; Petroni et al., 2019; Roberts et al., 2020), and that instruction-tuning (also known as supervised fine-tuning or alignment) makes this elicitation more effective (Sanh et al., 2022; Wei et al., 2022; Ouyang et al., 2022). In the first part of this paper (SS 4), we conduct extensive experiments using Llama-2 (Touvron et al., 2023) to answer the following question: _to what extent can we augment the knowledge stored in modern LLMs by continued pre-training on new documents, either with or without subsequent instruction-tuning_? We find that, as we train LLMs repeatedly over documents to the extent that perplexity is minimized to one, the percentage of questions regarding those documents that LLMs answer correctly increases consistently to 27.6%.
최신 상태의 LLM을 유지하려면 매개변수에 지식을 저장하기 위해 새로운 문서에 대한 pre-training을 계속하는 것이 일반적이며, 이를 통해 LLM은 최신 정보가 필요한 쿼리에 효과적으로 답할 수 있습니다(Jang et al., 2022). 널리 알려진 견해에 따르면, 매개변수에 저장된 사실적 지식은 prompting을 통해 이끌어낼 수 있으며(Brown et al., 2020; Petroni et al., 2019; Roberts et al., 2020), Instruction Tuning(지도 Fine-tuning 또는 alignment라고도 함)을 통해 이러한 이끌어내기가 더욱 효과적이라는 것입니다(Sanh et al., 2022; Wei et al., 2022; Ouyang et al., 2022). 이 논문의 첫 번째 부분(SS 4)에서는 Llama-2(Touvron et al., 2023)를 사용하여 다음과 같은 질문에 답하기 위해 광범위한 실험을 수행합니다: _최신 문서에 대한 pre-training을 계속하여 후속 Instruction Tuning을 하든 하지 않든 현대 LLM에 저장된 지식을 어느 정도까지 증강할 수 있는가_? 당사는 perplexity가 1로 최소화될 정도로 문서에 대해 LLM을 반복적으로 훈련할수록 해당 문서에 관한 질문 중 LLM이 정답을 맞출 수 있는 비율이 27.6%까지 지속적으로 증가한다는 사실을 발견했습니다.
최신 상태의 LLM을 유지하려면 매개변수에 지식을 저장하기 위해 새로운 문서에 대한 사전 학습을 계속하는 것이 일반적이며, 이를 통해 LLM은 최신 정보가 필요한 쿼리에 효과적으로 답할 수 있습니다(Jang et al., 2022). 널리 알려진 견해에 따르면, 매개변수에 저장된 사실적 지식은 프롬프트를 통해 이끌어낼 수 있으며(Brown et al., 2020; Petroni et al., 2019; Roberts et al., 2020), 지시 튜닝(지도 미세 조정 또는 정렬이라고도 함)을 통해 이러한 이끌어내기가 더욱 효과적이라는 것입니다(Sanh et al., 2022; Wei et al., 2022; Ouyang et al., 2022). 이 논문의 첫 번째 부분(SS 4)에서는 Llama-2(Touvron et al., 2023)를 사용하여 다음과 같은 질문에 답하기 위해 광범위한 실험을 수행합니다: _최신 문서에 대한 사전 학습을 계속하여 후속 지시 학습을 하든 하지 않든 현대 LLM에 저장된 지식을 어느 정도까지 증강할 수 있는가_? 당사는 난해함이 1로 최소화될 정도로 문서에 대해 LLM을 반복적으로 훈련할수록 해당 문서에 관한 질문 중 LLM이 정답을 맞출 수 있는 비율이 27.6%까지 지속적으로 증가한다는 사실을 발견했습니다.