recting them whenever necessary and checks whether the model prediction is correct by searching through the C4 corpus as a representative of \(D_{0}\)12. If the prediction is correct and the prediction is not the same with the _new answer_, the following instance must be present in both \(D_{0}\) and \(D_{1}\) with details changed, and thus is added to UpdatedLAMA along with the evidence document found in C4. If same, the instance is discarded because the instance is neither _updated_ nor _new_. (5) Lastly, if the model prediction is wrong, the expert annotator is asked to find an alternative answer for the question in C4. If not found, the instance is added to NewLAMA since the answer to the question could only be found in the article of CC-RecentNews (\(D_{1}\)), but not in C4 (\(D_{0}\)). Similarly, if the alternative answer is found in C4, we check whether it is the same as the _new answer_ and add the instance to UpdatedLAMA if not the same and disregard it otherwise.
필요할 때마다 이를 수정하고 모델 예측이 올바른지 확인하기 위해 C4 코퍼스를 \(D_{0}\)의 대표로 검색합니다. 예측이 올바르고 예측이 _새로운 답변_과 동일하지 않은 경우, 다음 인스턴스는 세부 사항이 변경된 상태로 \(D_{0}\)와 \(D_{1}\) 모두에 존재해야 하며, 따라서 C4에서 발견된 증거 문서와 함께 UpdatedLAMA에 추가됩니다. 동일한 경우, 인스턴스는 _업데이트_되지도 _새롭지도_ 않기 때문에 폐기됩니다. (5) 마지막으로, 모델 예측이 틀린 경우, 전문가 주석자에게 C4에서 질문에 대한 대체 답변을 찾도록 요청합니다. 찾지 못한 경우, 질문에 대한 답변이 CC-RecentNews (\(D_{1}\)) 기사에서만 찾을 수 있고 C4 (\(D_{0}\))에서는 찾을 수 없기 때문에 인스턴스는 NewLAMA에 추가됩니다. 마찬가지로, C4에서 대체 답변을 찾은 경우, 그것이 _새로운 답변_과 동일한지 확인하고 동일하지 않으면 인스턴스를 UpdatedLAMA에 추가하고 그렇지 않으면 무시합니다.
필요할 때마다 수정하고 C4 말뭉치를 \(D_{0}\)12의 대표로 검색하여 모델 예측이 올바른지 확인합니다. 예측이 정확하고 예측이 _새로운 답변_과 같지 않으면 다음 인스턴스가 \(D_{0}\)와 \(D_{1}\) 모두에 세부 사항이 변경되어 C4에서 발견한 증거 문서와 함께 UpdatedLAMA에 추가되어야 합니다. 동일한 경우, 인스턴스가 _업데이트_되지 않았거나 _새로운_ 인스턴스가 아니므로 인스턴스는 삭제됩니다. (5) 마지막으로, 모델 예측이 틀린 경우 전문가 주석가에게 C4에서 질문에 대한 대체 답을 찾도록 요청합니다. 찾을 수 없으면 질문에 대한 답은 CC-RecentNews (\(D_{1}\))의 기사에서만 찾을 수 있지만 C4 (\(D_{0}\))에서는 찾을 수 없으므로 해당 인스턴스를 NewLAMA에 추가합니다. 마찬가지로, C4에서 대체 답을 찾은 경우, 해당 답이 _새로운 답변_과 같은지 확인하고 같지 않으면 해당 인스턴스를 UpdatedLAMA에 추가하고 그렇지 않으면 무시합니다.