NewLAMA-EasyEven though NewLAMA corresponds to our exact definition of _new knowledge_ that we define in the task formulation, scaling the size of the dataset was difficult since each instance required searching the whole C4 database for answers. Instead, we provide a much larger, _easier_ variant NewLAMA-Easy where we test the general new knowledge acquired during continued pretraining on CC-RecentNews.
NewLAMA-EasyNewLAMA는 과제 공식화에서 정의한 _새로운 지식_에 대한 정확한 정의에 해당하지만, 각 인스턴스에 대해 C4 데이터베이스 전체를 검색하여 답을 찾아야 하므로 데이터 세트의 규모를 확장하기가 어려웠습니다. 대신, 우리는 CC-RecentNews에서 계속적인 pretraining을 통해 습득한 일반적인 새로운 지식을 테스트하는 훨씬 더 크고 _쉬운_ 변형인 NewLAMA-Easy를 제공합니다.
NewLAMA-EasyNewLAMA는 과제 공식화에서 정의한 _새로운 지식_에 대한 정확한 정의에 해당하지만, 각 인스턴스에 대해 C4 데이터베이스 전체를 검색하여 답을 찾아야 하므로 데이터 세트의 규모를 확장하기가 어려웠습니다. 대신, 우리는 CC-RecentNews에서 계속적인 전처리를 통해 습득한 일반적인 새로운 지식을 테스트하는 훨씬 더 크고 _쉬운_ 변형인 NewLAMA-Easy를 제공합니다.