Experimental resultsAs shown in Tab. 1, the relatively low performance of the original Llama-2 model (9.5%/17.2% for 7B/70B) indicates that most knowledge in the test documents is not included in the original pre-training corpus. After continued pre-training on documents, performances increase to 27.2%/41.7%, indicating that LLMs can absorb some amount of knowledge. Instruction-tuning further increases the performance to 30.3%/46.4%, confirming the effectiveness of this standard recipe. This observation is different from Zhu and Li (2023), which demonstrates that instruction-tuning after pre-training is ineffective on a randomly initialized GPT-2-like transformer. The difference probably arises because Llama-2, through its pre-training on diverse corpora comprising raw documents and QA data, has developed a certain degree of proficiency in extracting knowledge from its parameters via questions. We also report the performance where the corresponding document is directly provided to Llama-2 as context ("open-book w/ doc" in Tab. 1). The significant gap between closed-book and open-book settings suggests that retrieving knowledge from the parameters of LLMs is still challenging.
실험 결과표 1과 같이, 원래 Llama-2 모델의 상대적으로 낮은 성능(7B/70B의 경우 9.5%/17.2%)은 테스트 문서의 대부분의 지식이 원래의 사전 학습 코퍼스에 포함되어 있지 않음을 나타냅니다. 문서에 대한 지속적인 사전 학습 후 성능은 27.2%/41.7%로 증가하여 LLM이 어느 정도의 지식을 흡수할 수 있음을 나타냅니다. Instruction-tuning은 성능을 30.3%/46.4%로 더욱 향상시켜 이 표준 레시피의 효과를 확인시켜 줍니다. 이러한 관찰 결과는 사전 학습 후 Instruction-tuning이 무작위로 초기화된 GPT-2와 유사한 Transformer에 효과적이지 않다는 것을 입증한 Zhu와 Li(2023)와는 다른 결과입니다. 이러한 차이는 원문 문서와 QA 데이터로 구성된 다양한 코퍼라에 대한 사전 학습을 통해 Llama-2가 질문을 통해 파라미터에서 지식을 추출하는 데 어느 정도 숙련도를 갖추었기 때문일 것입니다. 또한 해당 문서를 Llama-2에 문맥으로 직접 제공하는 성능("표 1의 open-book w/ doc")도 보고합니다. 암기형 시험과 open-book 시험 사이의 큰 차이는 LLM의 파라미터에서 지식을 검색하는 것이 여전히 어렵다는 것을 시사합니다.
실험 결과표 1과 같이, 원래 Llama-2 모델의 상대적으로 낮은 성능(7B/70B의 경우 9.5%/17.2%)은 테스트 문서의 대부분의 지식이 원래의 사전 학습 코퍼스에 포함되어 있지 않음을 나타냅니다. 문서에 대한 지속적인 사전 학습 후 성능은 27.2%/41.7%로 증가하여 LLM이 어느 정도의 지식을 흡수할 수 있음을 나타냅니다. 명령어 튜닝은 성능을 30.3%/46.4%로 더욱 향상시켜 이 표준 레시피의 효과를 확인시켜 줍니다. 이러한 관찰 결과는 사전 학습 후 명령어 튜닝이 무작위로 초기화된 GPT-2와 유사한 트랜스포머에 효과적이지 않다는 것을 입증한 Zhu와 Li(2023)와는 다른 결과입니다. 이러한 차이는 원문 문서와 QA 데이터로 구성된 다양한 코퍼라에 대한 사전 학습을 통해 Llama-2가 질문을 통해 파라미터에서 지식을 추출하는 데 어느 정도 숙련도를 갖추었기 때문일 것입니다. 또한 해당 문서를 Llama-2에 문맥으로 직접 제공하는 성능("표 1의 오픈북 w/ doc")도 보고합니다. 암기형 시험과 오픈북 시험 사이의 큰 차이는 LLM의 파라미터에서 지식을 검색하는 것이 여전히 어렵다는 것을 시사합니다.