InvariantLAMAWe create InvariantLAMA, a subset of the LAMA (Petroni et al., 2019) task for measuring _time-invariant_ knowledge which might be forgotten during CKL. Among the 41 relations of the T-REx (Elsahar et al., 2018) subset of LAMA, we manually select 28 relation types that probe for _time-invariant_ instances (a full list of _time-invariant_ relations are provided in Appendix B.1). We also remove instances where the answer overlapped with the subject following Poerner et al. (2019) since the answers for these instances can be inferred from the cloze statement itself. Lastly, we remove instances where the answer was a non-entity to leave only the instances that require world knowledge for prediction on their answers (Guu et al., 2020).
InvariantLAMA CKL 중에 잊혀질 수 있는 _시간 불변_ 지식을 측정하기 위해 LAMA(Petroni et al., 2019) 작업의 하위 집합인 InvariantLAMA를 만듭니다. LAMA의 T-REx(Elsahar et al., 2018) 하위 집합의 41개 관계 중에서 _시간 불변_ 인스턴스를 탐색하는 28개의 관계 유형을 수동으로 선택합니다(_시간 불변_ 관계의 전체 목록은 부록 B.1에 제공됨). 또한 Poerner 등(2019)에 따라 답이 주어와 겹치는 인스턴스를 제거합니다. 이러한 인스턴스의 답은 cloze 문장 자체에서 유추할 수 있기 때문입니다. 마지막으로, 답이 엔티티가 아닌 인스턴스를 제거하여 답에 대한 예측을 위해 세계 지식이 필요한 인스턴스만 남깁니다(Guu et al., 2020).
InvariantLAMACKL 중에 잊혀질 수 있는 _시간 불변_ 지식을 측정하기 위해 LAMA(Petroni et al., 2019) 작업의 하위 집합인 InvariantLAMA를 만듭니다. LAMA의 T-REx(Elsahar et al., 2018) 하위 집합의 41개 관계 중에서 _시간 불변_ 인스턴스를 탐색하는 28개의 관계 유형을 수동으로 선택합니다(_시간 불변_ 관계의 전체 목록은 부록 B.1에 제공됨). 또한 포너 등(2019)에 따라 답이 주어와 겹치는 인스턴스를 제거합니다. 이러한 인스턴스의 답은 클로즈 문장 자체에서 유추할 수 있기 때문입니다. 마지막으로, 답이 엔티티가 아닌 인스턴스를 제거하여 답에 대한 예측을 위해 세계 지식이 필요한 인스턴스만 남깁니다(Guu et al., 2020).