Recent works have shown that large Language Models (LM), such as T5 (Raffel et al., 2019) and GPT-3 (Brown et al., 2020), have the capability of storing a tremendous amount of world knowledge in their parameters when pretrained on a vast corpus of text (Petroni et al., 2019). These pretrained LMs have shown potential to serve as knowledge bases when probed for world knowledge without any finetuning through the LAnguage Model Analysis (LAMA) task (Petroni et al., 2019), which requires probing LMs for world knowledge in a zero-shot manner through slot-filling, and promising results utilizing the encoded world knowledge when finetuned on various Knowledge Intensive Language Tasks (KILT) (Petroni et al., 2021), e.g., question answering, knowledgeable open dialogues.
최근 연구에 따르면 T5(Raffel et al., 2019) 및 GPT-3(Brown et al., 2020)과 같은 Large Language Models (LM)은 방대한 텍스트 코퍼스에 대해 사전 학습을 할 때 매개변수에 엄청난 양의 세계 지식을 저장할 수 있는 능력을 가지고 있는 것으로 나타났습니다(Petroni et al., 2019). 이러한 사전 학습된 LMs은 슬롯 채우기를 통해 zero-shot 방식으로 세계 지식에 대해 탐색해야 하는 LAnguage Model Analysis (LAMA) 작업(Petroni et al., 2019)을 통해 Fine-tuning 없이도 세계 지식에 대해 탐색할 수 있을 때 지식 기반으로 사용할 수 있는 잠재력을 보여주었으며, question answering, 지식이 풍부한 오픈 대화 등 다양한 Knowledge Intensive Language Tasks (KILT)에 대해 Fine-tuning할 때 인코딩된 세계 지식을 활용한 유망한 결과를 보여주었습니다(Petroni et al., 2021).
최근 연구에 따르면 T5(Raffel et al., 2019) 및 GPT-3(Brown et al., 2020)과 같은 대규모 언어 모델(LM)은 방대한 텍스트 코퍼스에 대해 사전 학습을 할 때 매개변수에 엄청난 양의 세계 지식을 저장할 수 있는 능력을 가지고 있는 것으로 나타났습니다(Petroni et al., 2019). 이러한 사전 학습된 LM은 슬롯 채우기를 통해 제로 샷 방식으로 세계 지식에 대해 탐색해야 하는 LAMA(언어 모델 분석) 작업(Petroni et al., 2019)을 통해 미세 조정 없이도 세계 지식에 대해 탐색할 수 있을 때 지식 기반으로 사용할 수 있는 잠재력을 보여주었으며, 질문 답변, 지식이 풍부한 오픈 대화 등 다양한 지식 집약적 언어 작업(KILT)에 대해 미세 조정할 때 인코딩된 세계 지식을 활용한 유망한 결과를 보여주었습니다(Petroni et al., 2021).