(1) First, the crowd-sourced worker is instructed to classify whether the given article contains _new_ information or not. (We define _new_ as not likely to be known before May 2020). If the article contains new information, the worker is instructed to select a sentence from the article that contains the most _recent_ information and an _entity_ among the possible answer candidates in the sentence and discard the article if otherwise. We provide the possible entities through a Named-Entity Recognition Model. (2) We make the selected sentence _stand-alone_ from the article through the decontextualization model provided by Choi et al. (2021). (3) The decontextualized sentence is paraphrased by a back-translation model (en\(\rightarrow\)de\(\rightarrow\)en) (Tiedemann and Thottingal, 2020) and checked whether the selected word is still in the paraphrased sentence; the sentence is discarded if not. (4) Next, we mask out the selected word from the sentence and ask two crowd-sourced workers to convert the cloze sentence into a question and answer the question. (5) If the answers agree among the workers as well as correspond to the actual selected word, we add the instance to NewLAMA-Easy.
(1) 먼저, crowd-sourced 작업자에게 주어진 기사에 _새로운_ 정보가 포함되어 있는지 여부를 분류하도록 지시합니다. (새로운 정보_는 2020년 5월 이전에는 알 수 없을 가능성이 높은 정보로 정의합니다). 기사에 새로운 정보가 포함되어 있는 경우, 작업자는 기사에서 가장 _최근_ 정보를 포함하는 문장과 문장의 가능한 답안 후보 중 _entity_를 선택하고 그렇지 않은 경우 기사를 폐기하도록 지시합니다. 가능한 entity는 Named-Entity Recognition Model을 통해 제공합니다. (2) 선택한 문장을 Choi 등(2021)이 제공한 decontextualization model을 통해 기사에서 _독립적으로_ 만듭니다. (3) decontextualized 문장을 back-translation model (en\(\rightarrow\)de\(\rightarrow\)en)로 의역하고(Tiedemann and Thottingal, 2020) 선택한 단어가 의역된 문장에 여전히 있는지 확인하고, 그렇지 않은 경우 문장을 삭제합니다. (4) 다음으로, 문장에서 선택한 단어를 마스킹하고 두 명의 crowd-sourced 작업자에게 cloze 문장을 질문으로 변환하고 질문에 답하도록 요청합니다. (5) 작업자들 사이에서 답변이 일치하고 실제 선택한 단어와 일치하는 경우, 해당 인스턴스를 NewLAMA-Easy에 추가합니다.
(1) 먼저, 크라우드 소싱 작업자에게 주어진 기사에 _새로운_ 정보가 포함되어 있는지 여부를 분류하도록 지시합니다. (새로운 정보_는 2020년 5월 이전에는 알 수 없을 가능성이 높은 정보로 정의합니다). 기사에 새로운 정보가 포함되어 있는 경우, 작업자는 기사에서 가장 _최근_ 정보를 포함하는 문장과 문장의 가능한 답안 후보 중 _엔티티_를 선택하고 그렇지 않은 경우 기사를 폐기하도록 지시합니다. 가능한 엔티티는 명명된 엔티티 인식 모델을 통해 제공합니다. (2) 선택한 문장을 Choi 등(2021)이 제공한 맥락 해제 모델을 통해 기사에서 _독립적으로_ 만듭니다. (3) 탈맥락화된 문장을 역번역 모델(en\(\rightarrow\)de\(\rightarrow\)en)로 의역하고(Tiedemann and Thottingal, 2020) 선택한 단어가 의역된 문장에 여전히 있는지 확인하고, 그렇지 않은 경우 문장을 삭제합니다. (4) 다음으로, 문장에서 선택한 단어를 마스킹하고 두 명의 크라우드 소싱 작업자에게 클로즈 문장을 질문으로 변환하고 질문에 답하도록 요청합니다. (5) 작업자들 사이에서 답변이 일치하고 실제 선택한 단어와 일치하는 경우, 해당 인스턴스를 NewLAMA-Easy에 추가합니다.