Several works have studied this problem and the predominant finding is that LMs struggle to answer questions about documents they have been trained on Wang et al. (2021); Zhu and Li (2023). It is important to note, however, that these experiments were mainly conducted using relatively small LMs such as BART, T5, or GPT-2 Wang et al. (2021); Jang et al. (2022); Hu et al. (2023), using randomly initialized transformers Zhu and Li (2023), or without instruction-tuning Ovadia et al. (2023). This makes us wonder _what are the actual limits of modern LLMs to absorb knowledge from new documents and answer questions about them using the standard continued pre-training followed by instruction-tuning recipe_. In this section, we run extensive experiments using Llama-2 7B and 70B on Wiki2023-film to test their limits.
이 문제를 연구한 여러 연구 결과에 따르면, LMs은 학습된 문서에 대한 질문에 답하는 데 어려움을 겪는 것으로 나타났습니다(Wang et al., 2021; Zhu and Li, 2023). 그러나 이러한 실험은 주로 BART, T5 또는 GPT-2와 같은 비교적 작은 LMs을 사용하여 수행되었다는 점에 유의하는 것이 중요합니다(Wang et al., 2021; Jang et al., 2022; Hu et al., 2023), 무작위로 초기화된 Transformers Zhu and Li(2023)를 사용하거나 Instruction Tuning 없이 Ovadia et al.(2023)을 사용했습니다. 이를 통해 _표준 지속적 사전 학습에 이어 Instruction Tuning 레시피를 사용하여 새로운 문서에서 지식을 흡수하고 이에 대한 질문에 답하는 데 있어 현대 LLMs의 실제 한계는 무엇인지_ 궁금해집니다. 이 섹션에서는 Wiki2023-film을 사용하여 Llama-2 7B와 70B를 사용하여 광범위한 실험을 수행하여 그 한계를 테스트합니다.
이 문제를 연구한 여러 연구 결과에 따르면, LM은 학습된 문서에 대한 질문에 답하는 데 어려움을 겪는 것으로 나타났습니다(Wang et al., 2021; Zhu and Li, 2023). 그러나 이러한 실험은 주로 BART, T5 또는 GPT-2와 같은 비교적 작은 LM을 사용하여 수행되었다는 점에 유의하는 것이 중요합니다(Wang et al., 2021; 장 등, 2022; Hu 등, 2023), 무작위로 초기화된 트랜스포머 Zhu and Li(2023)를 사용하거나 지침 조정 없이 Ovadia 등(2023)을 사용했습니다. 이를 통해 _표준 지속적 사전 학습에 이어 지침 학습 레시피를 사용하여 새로운 문서에서 지식을 흡수하고 이에 대한 질문에 답하는 데 있어 현대 LLM의 실제 한계는 무엇인지_ 궁금해집니다. 이 섹션에서는 Wiki2023-film을 사용하여 Llama-2 7B와 70B를 사용하여 광범위한 실험을 수행하여 그 한계를 테스트합니다.