frequency in each corpus of the entities that serve as the ground truths, e.g., those entities appear more in corpus \(D_{0}\) than in \(D_{1}\). In order to get rid of the influence of frequency of entities when analyzing the source of the EM gap, we find overlapping _Person_ type answers from UL and NL, and analyze only the 67 probing sentences for both datasets each paired to one of these entities. As shown in Figure (b)b, the EM on UL is still much higher than that of NL. Manually analyzing these instances, we find that the probing sentences for NL ask for relatively more _fine-grained_ knowledge compared to UL, since the instances of UL by definition are overlapped close sentences with different answers in the corpus \(D_{0}\) and \(D_{1}\), that naturally make them be _coarse-grained_. For instance, the probing sentences for entity "Tim Walz" in UL and NL are " \(\xrightarrow{\ }\) is the governor of Minnesota this year." and " \(\xrightarrow{\ }\) is the governor of Minnesota calling for the evacuation of St. Paul.", respectively. We thus conjecture that the main causation of the EM gap to be UL consisting of instances requiring _coarse-grained_ knowledge, which is likely to have appeared more during in \(D_{1}\), while NL consisting of instances requiring _fine-grained_ knowledge, which is expected to likely have appeared less in \(D_{1}\).
각 말뭉치에서 기준 진실 역할을 하는 개체의 빈도, 예를 들어, 해당 개체가 \(D_{1}\)보다 말뭉치 \(D_{0}\)에 더 많이 나타나는 경우. EM 격차의 원인을 분석할 때 개체의 빈도에 의한 영향을 제거하기 위해 UL과 NL에서 겹치는 _Person_ 유형의 답을 찾아서 이러한 개체 중 하나에 각각 짝을 이룬 두 데이터 세트에 대한 67개의 탐색 문장만 분석합니다. 그림 (b)b에서 볼 수 있듯이 UL의 EM은 여전히 NL보다 훨씬 높습니다. 이러한 인스턴스를 수동으로 분석한 결과, NL에 대한 탐색 문장은 정의상 코퍼스 \(D_{0}\)와 \(D_{1}\)에서 답이 다른 문장이 겹치는 UL에 비해 상대적으로 더 _fine-grained_ 지식을 요구하는 것으로 나타났습니다. 예를 들어, UL과 NL에서 "Tim Walz"라는 개체에 대한 탐색 문장은 각각 " \(\xrightarrow{\ }\)는 올해 미네소타의 주지사입니다." 및 " \(\xrightarrow{\ }\)는 세인트 폴의 철수를 요구하는 미네소타 주지사입니다."입니다. 따라서 EM 격차의 주요 원인은 _coarse-grained_ 지식이 필요한 인스턴스로 구성된 UL은 \(D_{1}\)에서 더 많이 나타났을 가능성이 높은 반면, _fine-grained_ 지식이 필요한 인스턴스로 구성된 NL은 \(D_{1}\)에서 더 적게 나타났을 것으로 예상됩니다.
각 말뭉치에서 기준 진실 역할을 하는 개체의 빈도, 예를 들어, 해당 개체가 \(D_{1}\)보다 말뭉치 \(D_{0}\)에 더 많이 나타나는 경우. EM 격차의 원인을 분석할 때 개체의 빈도에 의한 영향을 제거하기 위해 UL과 NL에서 겹치는 _Person_ 유형의 답을 찾아서 이러한 개체 중 하나에 각각 짝을 이룬 두 데이터 세트에 대한 67개의 탐색 문장만 분석합니다. 그림 (b)b에서 볼 수 있듯이 UL의 EM은 여전히 NL보다 훨씬 높습니다. 이러한 인스턴스를 수동으로 분석한 결과, NL에 대한 탐색 문장은 정의상 코퍼스 \(D_{0}\)와 \(D_{1}\)에서 답이 다른 문장이 겹치는 UL에 비해 상대적으로 더 _세분화된_ 지식을 요구하는 것으로 나타났습니다. 예를 들어, UL과 NL에서 "Tim Walz"라는 개체에 대한 탐색 문장은 각각 " \(\xrightarrow{\ }\)는 올해 미네소타의 주지사입니다." 및 " \(\xrightarrow{\ }\)는 세인트 폴의 철수를 요구하는 미네소타 주지사입니다."입니다. 따라서 EM 격차의 주요 원인은 _대략적인_ 지식이 필요한 인스턴스로 구성된 UL은 \(D_{1}\)에서 더 많이 나타났을 가능성이 높은 반면, _미세한_ 지식이 필요한 인스턴스로 구성된 NL은 \(D_{1}\)에서 더 적게 나타났을 것으로 예상됩니다.