Footnote 3: Closed-book question answering (CBQA) (Roberts et al., 2020) can also be considered as a task that measures the world knowledge of LMs through finetuning, but it has been pointed out that much of its performance increases are due to the test-train overlap (Lewis et al., 2020; Wang et al., 2021) in the datasets.
각주 3: Closed-book question answering (CBQA)(Roberts et al., 2020)도 Fine-tuning을 통해 LM의 세계 지식을 측정하는 과제로 간주할 수 있지만, 성능 향상의 상당 부분이 데이터 세트의 테스트-트레인 중복(Lewis et al., 2020; Wang et al., 2021)에 기인한다는 지적이 있었다.
각주 3: 폐쇄형 문제 답변(CBQA)(Roberts et al., 2020)도 미세 조정을 통해 LM의 세계 지식을 측정하는 과제로 간주할 수 있지만, 성능 향상의 상당 부분이 데이터 세트의 테스트-트레인 중복(Lewis et al., 2020; Wang et al., 2021)에 기인한다는 지적이 있었다.