To measure the time-invariant knowledge, we use InvariantLAMA (IL) because most of the slots to fill are at the end of the sentence. For light-tuning on behalf of IL, we use additional T-Rex data from Shin et al. (2020) which has a similar distribution as instances from IL. Among them, 5,000 instances with the same _time-invariant_ relations as IL are randomly sampled for _light-tuning_. On the other hand, unlike IL where most of the slots to fill are at the end of the sentences, the LAMA datasets for new knowledge in our CKL benchmark mostly have the slots at the beginning of the sentences. Therefore, we use the corresponding CBQA dataset of NewLAMA-Easy, NewQuestions-Easy (NQE) to roughly measure the new knowledge.15 For light-tuning on behalf of NQE, 5,000 instances are sampled from a set of QA pairs constructed from CC-RecentNews but not CC-RecentNews-Small to remove the test-train overlap.
시간에 변하지 않는 지식을 측정하기 위해 대부분의 슬롯이 문장 끝에 있기 때문에 InvariantLAMA(IL)를 사용합니다. IL을 대신하여 light-tuning을 위해 신 등(2020)의 추가 T-Rex 데이터를 사용하는데, 이 데이터는 IL의 인스턴스와 유사한 분포를 가지고 있습니다. 이 중 IL과 동일한 _시간 불변_ 관계를 가진 5,000개의 인스턴스를 _light-tuning_을 위해 무작위로 샘플링합니다. 반면, 대부분의 슬롯이 문장 끝에 있는 IL과 달리, 우리의 CKL 벤치마크에서 새로운 지식에 대한 LAMA 데이터 세트는 대부분 문장의 시작 부분에 슬롯이 있습니다. 따라서 새로운 지식을 대략적으로 측정하기 위해 NewLAMA-Easy, NewQuestions-Easy(NQE)의 해당 CBQA 데이터 세트를 사용합니다. NQE를 대신하여 light-tuning을 위해 CC-RecentNews에서 구성된 QA 쌍 세트에서 5,000개의 인스턴스를 샘플링하지만 CC-RecentNews-Small은 테스트-훈련 중복을 제거하기 위해 샘플링하지 않습니다.
시간에 변하지 않는 지식을 측정하기 위해 대부분의 슬롯이 문장 끝에 있기 때문에 InvariantLAMA(IL)를 사용합니다. IL을 대신하여 조명 튜닝을 위해 신 등(2020)의 추가 T-Rex 데이터를 사용하는데, 이 데이터는 IL의 인스턴스와 유사한 분포를 가지고 있습니다. 이 중 IL과 동일한 _시간 불변_ 관계를 가진 5,000개의 인스턴스를 _라이트 튜닝_을 위해 무작위로 샘플링합니다. 반면, 대부분의 슬롯이 문장 끝에 있는 IL과 달리, 우리의 CKL 벤치마크에서 새로운 지식에 대한 LAMA 데이터 세트는 대부분 문장의 시작 부분에 슬롯이 있습니다. 따라서 새로운 지식을 대략적으로 측정하기 위해 NewLAMA-Easy, NewQuestions-Easy(NQE)의 해당 CBQA 데이터 세트를 사용합니다.15 NQE를 대신하여 조명 튜닝을 위해 CC-RecentNews에서 구성된 QA 쌍 세트에서 5,000개의 인스턴스를 샘플링하지만 CC-RecentNews-Small은 테스트-훈련 중복을 제거하기 위해 샘플링하지 않습니다.