Experimental ResultWe first focus on the performance on zero-shot Relation Extraction (zsRE), which is measured on the dev set of 12 relations that are ensured to have no overlap with the 84 relations of the train set (Levy et al., 2017). Since the setting is similar to the zero-shot probing setting of IL, the trend of the result on the two datasets are similar. The performance of T5-Vanilla drops to half from that of T5-Initial as shown in IL, and the best performing method for both datasets is T5-Modular. In addition, corresponding with results from the CKL benchmark, parameter-expansion methods generally show stronger performance than the other methods.
실험 결과먼저, 훈련 세트의 84개 관계와 겹치지 않는 것으로 보장되는 12개 관계의 개발 세트에서 측정되는 zero-shot Relation Extraction (zsRE)의 성능에 초점을 맞춘다(Levy et al., 2017). 설정이 IL의 zero-shot probing 설정과 유사하기 때문에 두 데이터 세트의 결과 추세가 유사하다. T5-Vanilla의 성능은 IL에서와 같이 T5-Initial의 절반으로 떨어지며, 두 데이터 세트 모두에서 가장 성능이 좋은 방법은 T5-Modular이다. 또한 CKL 벤치마크의 결과와도 일치하는 이는 일반적으로 매개변수 확장 방법이 다른 방법보다 더 강력한 성능을 보여준다.
실험 결과먼저, 훈련 세트의 84개 관계와 겹치지 않는 것으로 보장되는 12개 관계의 개발 세트에서 측정되는 제로 샷 관계 추출(zsRE)의 성능에 초점을 맞춘다(Levy et al., 2017). 설정이 IL의 제로 샷 프로빙 설정과 유사하기 때문에 두 데이터 세트의 결과 추세가 유사하다. T5-Vanilla의 성능은 IL에서와 같이 T5-Initial의 절반으로 떨어지며, 두 데이터 세트 모두에서 가장 성능이 좋은 방법은 T5-Modular이다. 또한 CKL 벤치마크의 결과와도 일치하는 이는 일반적으로 매개변수 확장 방법이 다른 방법보다 더 강력한 성능을 보여준다.