Dataset ConstructionThe data for continual pretraining, CC-RecentNews, is constructed using news-please (Hamborg et al., 2017). InvariantLAMA is constructed by manually selecting 28 _time-invariant_ relations from T-Rex (Elsahar et al., 2018). For UpdatedLAMA and NewLAMA, we use Amazon Mechanical Turk (mturk)4 for crowd-sourcing Human Intelligent Tasks (HITs). The process requires selecting answerable questions from a list of questions generated by the model introduced in Lewis et al. (2021) and converting them into clozse sentences. We have also separately hired 11 experts to verify the correctness and search the C4 database to categorize each instance following our definition of _updated_ and _new_. NewLAMA-Easy is constructed at a larger scale through a two-phase mturk process where sentences selected from articles containing new information are decontextualized and paraphrased5 before being masked, verified and converted to corresponding questions. The constructed dataset statistics are in Table 1. Important details about the data construction pipeline, examples, and more fine-grained statistics are provided in Appendix B.
데이터 세트 구성지속적 사전 학습을 위한 데이터인 CC-RecentNews는 news-please(Hamborg et al., 2017)를 사용하여 구성됩니다. InvariantLAMA는 T-Rex(Elsahar et al., 2018)에서 28개의 _시간 불변_ 관계를 수동으로 선택하여 구성합니다. UpdatedLAMA 및 NewLAMA의 경우, 크라우드 소싱 Human Intelligent Tasks (HITs)을 위해 Amazon Mechanical Turk (mturk)4를 사용합니다. 이 과정에는 Lewis et al.(2021)에 소개된 모델에서 생성된 질문 목록에서 답변 가능한 질문을 선택하고 이를 cloze 문장으로 변환해야 합니다. 또한 11명의 전문가를 별도로 고용하여 정확성을 검증하고 C4 데이터베이스를 검색하여 각 인스턴스를 _updated_ 및 _new_에 대한 정의에 따라 분류했습니다. NewLAMA-Easy는 새로운 정보가 포함된 기사에서 선택한 문장을 탈 맥락화 및 의역5한 후 마스킹, 검증, 해당 질문으로 변환하는 2단계 mturk 프로세스를 통해 더 큰 규모로 구성됩니다. 구성된 데이터 세트 통계는 표 1에 나와 있습니다. 데이터 구축 파이프라인, 예시 및 보다 세분화된 통계에 대한 자세한 내용은 부록 B에 나와 있습니다.
데이터 세트 구성지속적 사전 학습을 위한 데이터인 CC-RecentNews는 뉴스 플리즈(Hamborg et al., 2017)를 사용하여 구성됩니다. InvariantLAMA는 T-Rex(Elsahar et al., 2018)에서 28개의 _시간 불변_ 관계를 수동으로 선택하여 구성합니다. UpdatedLAMA 및 NewLAMA의 경우, 크라우드 소싱 인텔리전트 작업(HIT)을 위해 Amazon Mechanical Turk(mturk)4를 사용합니다. 이 과정에는 Lewis et al.(2021)에 소개된 모델에서 생성된 질문 목록에서 답변 가능한 질문을 선택하고 이를 클로즈 문장으로 변환해야 합니다. 또한 11명의 전문가를 별도로 고용하여 정확성을 검증하고 C4 데이터베이스를 검색하여 각 인스턴스를 _업데이트된_ 및 _새로운_에 대한 정의에 따라 분류했습니다. NewLAMA-Easy는 새로운 정보가 포함된 기사에서 선택한 문장을 탈 맥락화 및 의역5한 후 마스킹, 검증, 해당 질문으로 변환하는 2단계 mturk 프로세스를 통해 더 큰 규모로 구성됩니다. 구성된 데이터 세트 통계는 표 1에 나와 있습니다. 데이터 구축 파이프라인, 예시 및 보다 세분화된 통계에 대한 자세한 내용은 부록 B에 나와 있습니다.