Probing LMs for World KnowledgeThe most widely used task for probing LMs for world knowledge is the LAnguage Model Analysis (LAMA) (Petroni et al., 2019) task, which consists of cloze sentences created from a set of knowledge sources using manually defined templates. We define that an LM _knows_ a fact if it can successfully predict in a zero-shot manner the masked entity in the cloze sentence, such as "_Dante was born in_." as _Florence_. While there may be other alternatives for measuring the world knowledge encoded in LMs3, we construct our main datasets as LAMA tasks, while also additionally providing the corresponding question pairs to the cloze sentences for those who want to test on CBQA as well.
세계 지식에 대한 LM 탐색. 세계 지식에 대한 LM을 탐색하는 데 가장 널리 사용되는 작업은 수동으로 정의된 템플릿을 사용하여 일련의 지식 소스에서 생성된 cloze 문장으로 구성된 LAMA(Petroni et al., 2019) 작업입니다. 예를 들어 "_단테는 _피렌체_에서 태어났다."와 같은 cloze 문장에서 마스킹된 주어를 zero-shot 방식으로 성공적으로 예측할 수 있다면 LM이 사실을 _알고 있다고 정의합니다. LM에 인코딩된 세계 지식을 측정하는 다른 대안이 있을 수 있지만, 우리는 주요 데이터 세트를 LAMA 작업으로 구성하는 동시에 CBQA도 테스트하고자 하는 사람들을 위해 cloze 문장에 해당 질문 쌍을 추가로 제공합니다.
세계 지식에 대한 LM 탐색세계 지식에 대한 LM을 탐색하는 데 가장 널리 사용되는 작업은 수동으로 정의된 템플릿을 사용하여 일련의 지식 소스에서 생성된 클로즈 문장으로 구성된 LAMA(Petroni et al., 2019) 작업입니다. 예를 들어 "_단테는 _피렌체_에서 태어났다."와 같은 클로즈 문장에서 마스킹된 주어를 제로 샷 방식으로 성공적으로 예측할 수 있다면 LM이 사실을 _알고 있다고 정의합니다. LM에 인코딩된 세계 지식을 측정하는 다른 대안이 있을 수 있지만, 우리는 주요 데이터 세트를 LAMA 작업으로 구성하는 동시에 CBQA도 테스트하고자 하는 사람들을 위해 클로즈 문장에 해당 질문 쌍을 추가로 제공합니다.