Among all domains, we select the film domain for evaluation and randomly select 256 articles as the test split (Wiki2023-film-test). We continually train LLMs on documents from the test split (Wiki2023-film-test-doc), and assess their performance based on the accuracy of corresponding questions (Wiki2023-film-test-QA). The remaining 1720 articles and corresponding QA pairs (Wiki2023-film-train) will be used to study different training strategies, which corresponds to the in-domain setting in Fig. 2. We also train on other domains before evaluation on the film domain to study the effectiveness of different methods across domains, which corresponds to the cross-domain setting in Fig. 2.
모든 도메인 중에서 평가를 위해 영화 도메인을 선택하고 256개의 문서를 무작위로 선택하여 테스트 분할(Wiki2023-film-test)로 선택합니다. 테스트 분할(Wiki2023-film-test-doc)의 문서에 대해 LLMs을 지속적으로 학습하고 해당 질문(Wiki2023-film-test-QA)의 정확도를 기준으로 성능을 평가합니다. 나머지 1720개의 문서와 해당 QA 쌍(Wiki2023-film-train)은 다양한 훈련 전략을 연구하는 데 사용되며, 이는 그림 2의 in-domain 설정에 해당합니다. 또한 영화 도메인에 대한 평가 전에 다른 도메인에 대해서도 훈련하여 도메인 간의 다양한 방법의 효과를 연구하며, 이는 그림 2의 cross-domain 설정에 해당합니다.
모든 도메인 중에서 평가를 위해 영화 도메인을 선택하고 256개의 문서를 무작위로 선택하여 테스트 분할(Wiki2023-film-test)로 선택합니다. 테스트 분할(Wiki2023-film-test-doc)의 문서에 대해 LLM을 지속적으로 학습하고 해당 질문(Wiki2023-film-test-QA)의 정확도를 기준으로 성능을 평가합니다. 나머지 1720개의 문서와 해당 QA 쌍(Wiki2023-film-train)은 다양한 훈련 전략을 연구하는 데 사용되며, 이는 그림 2의 도메인 내 설정에 해당합니다. 또한 영화 도메인에 대한 평가 전에 다른 도메인에 대해서도 훈련하여 도메인 간의 다양한 방법의 효과를 연구하며, 이는 그림 2의 도메인 간 설정에 해당합니다.