The Wiki2023 dataset provides a relatively clean testbed for studying continual knowledge acquisition. However, its scope is limited to Wikipedia, which restricts the trained models' adaptability to other sources like web pages from Common Crawl or scientific documents from arXiv. We focus on eliciting factual knowledge with instruction-tuning on QA data in this paper. The effectiveness of pre-instruction-tuning with different types of data for enhancing other skills like reasoning or comprehension is something that needs to be explored in future studies.
Wiki2023 데이터 세트는 지속적인 지식 습득을 연구하기 위한 비교적 깨끗한 테스트베드를 제공합니다. 그러나 그 범위는 Wikipedia에 국한되어 있어 학습된 모델이 Common Crawl의 웹 페이지나 arXiv의 과학 문서와 같은 다른 소스에 적응하는 데 제한이 있습니다. 이 백서에서는 QA 데이터에 대한 Instruction Tuning을 통해 사실적 지식을 이끌어내는 데 중점을 둡니다. 추론이나 이해력과 같은 다른 기술을 향상시키기 위한 다양한 유형의 데이터에 대한 사전 Instruction Tuning의 효과는 향후 연구에서 탐구해야 할 과제입니다.
Wiki2023 데이터 세트는 지속적인 지식 습득을 연구하기 위한 비교적 깨끗한 테스트베드를 제공합니다. 그러나 그 범위는 위키피디아에 국한되어 있어 학습된 모델이 Common Crawl의 웹 페이지나 arXiv의 과학 문서와 같은 다른 소스에 적응하는 데 제한이 있습니다. 이 백서에서는 QA 데이터에 대한 지침 튜닝을 통해 사실적 지식을 이끌어내는 데 중점을 둡니다. 추론이나 이해력과 같은 다른 기술을 향상시키기 위한 다양한 유형의 데이터에 대한 사전 지침 튜닝의 효과는 향후 연구에서 탐구해야 할 과제입니다.