ConfigurationKILT (Petroni et al., 2021) consists of 5 different tasks and 11 datasets: Open-Domain Question Answering (Joshi et al., 2017; Kwiatkowski et al., 2019; Fan et al., 2019; Yang et al., 2018), Fact Checking (Thorne et al., 2018), Entity Linking (Hoffart et al., 2011; Guo and Barbosa, 2018), Slot-filling (Levy et al., 2017), and Knowledgeable Open Dialogue (Dinan et al., 2019). Because each task requires a different training objective than the one used during pretraining, additional finetuning is necessary. We search for the hyperparameters such as training epochs, batch size, input size, output size, and learning rate of each individual KILT task to match the T5-base dev performance reported by Petroni et al. (2021). Using the identified configurations, we perform experiments on all of the KILT tasks with the continually pretrained models for each method as the initialization checkpoints.
구성KILT(Petroni 외, 2021)는 5가지 작업과 11가지 데이터 세트로 구성됩니다: Open-Domain Question Answering(Joshi 외, 2017; Kwiatkowski 외, 2019; Fan 외, 2019; Yang 외, 2018), Fact Checking(Thorne 외, 2018), Entity Linking(Hoffart 외, 2011; Guo 및 Barbosa, 2018), Slot-filling(Levy 외, 2017), Knowledgeable Open Dialogue(Dinan 외, 2019) 등이 있습니다. 각 작업에는 사전 학습 중에 사용된 것과는 다른 훈련 목표가 필요하기 때문에 추가 Fine-tuning이 필요합니다. Petroni 외(2021)가 보고한 T5-base 개발 성능과 일치하도록 각 개별 KILT 작업의 훈련 epochs, batch size, input size, output size, learning rate 등의 하이퍼파라미터를 검색합니다. 식별된 구성을 사용하여 각 방법에 대해 지속적으로 사전 학습된 모델을 초기화 체크포인트로 사용하여 모든 KILT 작업에 대한 실험을 수행합니다.
구성KILT(Petroni 외, 2021)는 5가지 작업과 11가지 데이터 세트로 구성됩니다: 오픈 도메인 질문 답변(Joshi 외, 2017; Kwiatkowski 외, 2019; Fan 외, 2019; Yang 외, 2018), 팩트 체킹(Thorne 외, 2018), 엔티티 링크(Hoffart 외, 2011; Guo 및 Barbosa, 2018), 슬롯 채우기(Levy 외, 2017), 지식형 오픈 대화(Dinan 외, 2019) 등이 있습니다. 각 작업에는 사전 학습 중에 사용된 것과는 다른 훈련 목표가 필요하기 때문에 추가 미세 조정이 필요합니다. Petroni 외(2021)가 보고한 T5-base 개발 성능과 일치하도록 각 개별 KILT 작업의 훈련 에포크, 배치 크기, 입력 크기, 출력 크기, 학습 속도 등의 하이퍼파라미터를 검색합니다. 식별된 구성을 사용하여 각 방법에 대해 지속적으로 사전 학습된 모델을 초기화 체크포인트로 사용하여 모든 KILT 작업에 대한 실험을 수행합니다.